本ガイドラインは、JIS X 8341-3:2016 の「附属書JB（参考）試験方法」に基づく試験を行う際に、どのように理解して実施すればよいかを補足するためのものである。附属書JBの理解を助けるだけでなく、附属書JBでは明確に記載されていない事項についても目安や例を示している。
なお、本ガイドラインは指針を示しているだけであり、これによらない方法であってもJIS X 8341-3:2016附属書JBに基づいて試験を実施することは可能である。
また、本ガイドラインは、JIS X 8341-3:2016、WCAG 2.0、WCAG 2.0 解説書、WCAG 2.0 達成方法集、およびWAICによるアクセシビリティ サポーテッド（AS）情報、JIS X 8341-3:2016解説などの文書を読み、それらのアクセシビリティに関する要求事項や技術を理解している人のためのものである。
[目次]に戻るウェブページ単位での試験を行う方法については、「JB.1.1 ウェブページ単位」および「5.1.2 ウェブページ全体」「5.1.3 プロセス全体」を参考にする。
ウェブページ一式（ウェブサイト）単位で試験を行う場合には、「JB.1.2 ウェブページ一式単位」にある次のいずれかの方法を用いて、試験対象のページを選択して試験を実施する。
ただし、「JB.1.2 ウェブページ一式単位」では、どのような場合にどの方法を用いればよいかについて記載されていない。WAICでは、総ページ数が100ページを超える場合には、方式d)を用いることを推奨しているが、以下では、それぞれの方法を選ぶ際の目安を示す。
なお、b)～d)の方法を用いる際に、サイトが複数業者等の分業により構築されている場合には、その担当範囲毎に品質にばらつきのあることがある。この様な場合には、担当範囲毎に選択して試験を実施するなどの方法が有効である。また、専用のテストツールで時間とコストをかけずにテストが可能な一部の達成基準やその達成方法については、全てのページを対象にしたテストを併せて実施しておくことが有効である。
この方法を用いることができるのは、サイトの総ページ数が多くとも100ページ程度までである。それ以上のページを試験しようとすると、多大な時間とコストを要してしまうと考えられる。しかし、全てのページを選択して試験すれば、そのサイト全体がJIS X 8341-3:2016の達成基準を満たしていることを保証できる。サイトの性格やウェブアクセシビリティの方針に従って、全てのページを試験すべきかどうか、その際の時間とコストが現実的であるかを検討して判断する必要がある。
注記：一般的に、試験に要する時間とコストという視点で考えると、試験を実施するページ数（サンプル数）が多すぎると、現実的な時間とコストで試験を実施することができなくなってしまい、制作者だけでなく発注者やサイトの運営者の利益も損ねることになる。しかし、サンプル数が小さすぎると本来不合格とすべきサイトを誤って問題なしと判断してしまうリスクが増大する。すなわち時間とコスト、サンプル数は相反する要素であり、そのトレードオフ関係を理解したうえでサンプル数、あるいは選択方法を決定することが求められる。
ランダムに選択する方法は、ランダムサンプリングにより試験の対象ページを決定して試験を実施する方法である。全てのページを選択する方法に比べて、達成基準を満たしていない問題のあるページを見過ごしてしまう危険はあるが、現実的な時間とコストで客観性のある試験を実施できる方法である。
問題のあるページを見過ごしてしまう危険を小さくするにはサンプル数を増やせばよいし、全体の傾向だけを知るためには、少ないサンプル数でも有効である。
サンプリングや抜き取り検査の一般的なサンプル数の決定方法によると、サンプル数の決定は、全体の総数には大きく依存せず、数十のサンプルを対象に試験を行えば一定の信頼度で全体に問題がないとみなすことができるとされている。
そこで、本ガイドラインでは、「b) ランダムに選択する場合」の方法を用いて試験の対象ページを決定する際には、試験の対象ページ数の目安として、表1の数値を用いることを推奨する。なお、この方法を用いて試験の対象ページを決定する場合には、発注者及び受注者双方の合意の下、仕様書や契約書でページ数をあらかじめ決定しておくことが望まれる。
なお、「b) ランダムに選択する場合」の方法を用いて試験を行う場合には、試験ごとにランダムにサンプリング対象を選択しなおして試験することが必要である。なお、1回の試験の中には、修正箇所の再検証が含まれることに注意が必要である。
| 選択するページ数 | 説明 |
|---|---|
| 10ページ以下 | 試行的な試験であり、母数が大きい場合には、合否を判定するのには少ない |
| 11〜24ページ | 合否判定に要する最低限のページ数 |
| 25〜39ページ | 合否判定に要する標準的なページ数 |
| 40ページ以上 | 合否判定に十分なページ数 |
この方法は、ウェブサイトの利用者の視点で、利用に支障がないかどうかを確認するために効率的な方法である。JB.1.2に記載されているウェブページ一式を代表するウェブページの例を参考に選択を行うとよい。たとえば、トップページが達成基準を満たしていないと、サイト全体を利用することが困難になる可能性があり、重要性が高い。
しかし、この選択方法だけで全体の合否を判定すると、試験の対象にならないページが軽視されて、多数の問題のあるページを見過ごしてしまう危険が増大する。
試験対象のウェブページの総ページ数が100ページを超える場合、「b) ランダムに選択する場合」または「c) ウェブページ一式を代表するウェブページを選択する場合」のいずれかを用いることが考えられるが、b)ではウェブページ一式のトップページなどの主要なページが対象外となったり、c)では対象ページ以外が軽視されてしまう危険性などの問題が指摘されてきた。
この様な問題に対応するため、「JB.1.2 ウェブページ一式単位」では、b)とc)を組み合わせた「d) ウェブページ一式を代表するウェブページとランダムに選択したウェブページとを併せて選択する場合」が新たに追加された。WAICでは、総ページ数が100ページを超える場合には、この方式を用いることを推奨している。
この場合の試験対象ページ数の目安は表2の通りである。両方を合わせて、合計40～50ページ程度を試験対象にするとよい。
| 「b) ランダムに選択する場合」 | 「c) ウェブページ一式を代表するウェブページを選択する場合」 | |
|---|---|---|
| 例1 | 25ページ | 15ページ |
| 例2 | 40ページ | 10ページ |
| 例3 | 25ページ | 35ページ |
なお、対象となるウェブページ一式の構成によっては「c) ウェブページ一式を代表するウェブページを選択する場合」の方式を用いて選択するページ数が大きくなる場合も存在する。その様な場合においては、合計で40～50ページ程度という目安に囚われることなく「b) ランダムに選択する場合」の方式を用いて一定数の試験対象ページ（表1を参考）を選択することが望ましい（表2 例3）。
「JB.2 試験の手順」では、a)～e)の手順によって、試験を行う方法が説明されている。以下、3.1では手順a)～d)に関連し、「達成方法及びその検証方法を特定できる技術的根拠」を示す方法の例を説明する。3.2では、手順e)に関連し、「達成基準チェックリスト」の作り方と記入方法について説明する。これらに基づき、「達成方法及びその検証方法を特定できる技術的根拠」に基づき「達成基準チェックリスト」を作成することができる。
「JB.2 c) 達成方法及び検証方法の特定」において、達成基準に基づいて、達成方法及びその検証方法を特定できる技術的根拠を示す必要がある。ここでは、その一つの方法として、使用している達成方法及びその検証方法の一覧（実装チェックリスト）の例、および、記入方法などを紹介する。
実装チェックリストを一から作成するのは負担が大きいため、既存の実装チェックリストを活用してもよい。ただし、ここで紹介するような既存の実装チェックリストを活用する際には、3.1.2に示す方法などを用いて、実情に合わせてカスタマイズを行った上で使用することが必要である。
実装チェックリストの例 2020年12月版（xlsx形式, 86KB）
また、実装チェックリストを用いて試験を実施するためには、次を理解していることが必要である。
実装チェックリストのカスタマイズに際し、ウェブコンテンツ制作者と連携できている場合について説明する。ウェブコンテンツ制作者に制作方針を確認することは、試験を楽にするだけでなく、修正も容易になる。そのため、制作者に確認して実装チェックリストをカスタマイズするとよい。もし、制作方針がわからない場合には、チェックリストにしたがって、全ての項目についての試験を実施することになる。その場合には、試験にかかるコストは非常に大きくなり、非効率的である。
試験対象のウェブコンテンツがJIS X 8341-3の達成基準をどのように満たそうとして作られたのかがわかる場合は、次のa)～e)の手順に従って、実際の試験環境に合うように、実装チェックリストをカスタマイズする。ここでは、実装チェックリストの例2020年12月版（xlsx形式, 86KB）を用いて説明する。
以上の手順により実装チェックリストをカスタマイズできる。なお、試験を行う人がコンテンツを制作した人と異なる場合は、制作した人に確認して実装チェックリストをカスタマイズすることが望ましい。
「JB.2 b) 試験対象の特定」において、試験対象を決める。実装チェックリストの「検証方法」に従って検証を行い、各チェック項目の適合・不適合を明らかにする。本ガイドライン3.2節の実装チェックリストの記入方法について説明する。
まず、「適用」欄に試験対象の有無を記入する。試験対象がウェブページに含まれていれば適用ありとなり、適用欄に「○」と記入し、含まれていない場合は適用なしとなり、「適用」欄に「－」と記入する。例えば、画像に関する検証は、画像が無いウェブページでは行うことができないため適用なしとなる。また、別の項目で達成基準を満たしているために、試験の必要が無い場合もある。この場合にも適用欄に「－」と記入し、詳細を備考欄に記入する。
続いて、適用ありの試験項目について試験を行い、その結果を「適合」欄に記入する。適合であれば「○」、不適合であれば「×」と記入する。適用なしの場合は、その項目に関してアクセシビリティ上の問題は生じない。
「JB.2 e) 達成基準チェックリストの作成」では、表 JB.1−達成基準チェックリストの例（一部）において、ウェブページに対して一部の達成基準チェックリストの例が示されている。ここでは、JIS X 8341-3:2016の全ての達成基準を記入した達成基準チェックリストの例を示す。
3.1節で作成した実装チェックリストに記入した試験結果を元に、達成基準チェックリストに試験結果を記入する。目標とする適合レベルに合わせて、必要な達成基準が記載された達成基準チェックリストを用意する。実装チェックリストにおいて、対応する達成基準が全て適用なしである場合は、適用なしとなり適用欄に「－」と記入する。また、対応する達成基準の一つでも適用ありがある場合は、適用ありとなり適用欄に「○」と記入する。達成基準に対応する達成方法が全て適合であれば、その達成基準は適合となり、適合欄に「○」と記入する。
「JB.3 試験結果の表示」では、試験結果の表示事項がまとめられている。試験結果の表記に関しては、「ウェブコンテンツの JIS X 8341-3:2016 対応度表記ガイドライン」も参照すること。
出荷検査として実施する試験に合格するためには、企画、制作段階での達成基準や実装技術の理解の確認や実施の徹底、ケアレスミスを防ぐためのオーサリングツールの支援機能の活用やチェックツールを用いた全ページのテストと修正の実施など、制作プロセス全般の改善と見直しによる継続的な品質管理活動が不可欠である。試験は、これらの活動が成功していることを検証するためのものであり、単に試験を行えば品質が改善するわけではない点に留意が必要である。
作成者：ウェブアクセシビリティ基盤委員会