「合否判定に十分なページ数」の根拠

サンプリングや抜き取り検査の一般的なサンプル数の決定方法によると、サンプル数の決定は、全体の総数には大きく依存せず、数十のサンプルを対象に試験を行えば一定の信頼度で全体に問題がないとみなすことができるとされています。例えば、全体で10,000ページ、問題のあるページが5%存在するウェブページ一式の中から、試験対象ページをランダムに40ページ選択すると、約9割の確率で問題のあるページを発見することができます(問題のあるページを全て見逃してしまう確率が約1割となります)。試験対象ページを増やせば増やすほど試験の精度も高くなりますが、試験のために必要となるコストも増加することになります。WAICが公開している「JIS X 8341-3:2016 試験実施ガイドライン」では、コストと精度のバランスを考慮して目安を示しています。

(補足: EUで定められたUnified Web Evaluation Methodology(UWEM)1.2においては、エキスパートテストを行う場合の例として、ランダムに選択するページ数を最低30ページとし、試験対象ページが1,000ページ増えるごとにランダムに選択するページを2ページずつ追加していく方式が示されています。一方で、ランダムに選択するページは最大50ページまでとされています。「JIS X 8341-3:2016 試験実施ガイドライン」の目安である40ページは、UWEM 1.2の定める目安のちょうど中間に位置する値となっています。)

(2019年11月12日更新)