JIS X8341-3:2010 試験実施ガイドライン 2010年8月版

1. ガイドラインの目的

本ガイドラインは、JIS X 8341-3:2010 の箇条8「試験方法」に基づく試験を行う際に、どのように理解して実施すればよいかを補足するためのものである。箇条8の理解を助けるだけでなく、箇条8では明確に規定されていない事項についても目安や例を示している。なお、本ガイドラインは指針を示しているだけであり、これによらない方法であってもJIS X 8341-3:2010箇条8の規定を満たしていればよい。
また、本ガイドラインは、JIS X 8341-3:2010、WCAG 2.0、Understanding WCAG 2.0日本語訳、Techniques for WCAG 2.0（WCAG 2.0 実装方法集、アクセシビリティ・サポーテッド（AS）情報（本委員会による）などの文書を読み、それらのアクセシビリティに関する要求事項や技術を理解している人のためのものである。

[目次]に戻る

2. JIS X 8341-3:2010 「8.1 適合試験の要件」に対する補足事項

2.1 ウェブページ単位での試験

ウェブページ単位での試験を行う方法については、8.1.1 ウェブページ単位の項を参考にする。8.1.3、8.1.4 の例外、8.1.5の追加事項についても理解しておくことが必要である。

2.2 ウェブページ一式単位での試験

ウェブページ一式(ウェブサイト)単位で試験を行う場合には、試験対象のページを選択してウェブページ単位での試験を実施することになる。その場合、どの選択方法を用いればよいかについて8.1.2には記載されていない。そこで、選択方法の目安を示す。

一般的に、試験に要する時間とコストという視点で考えると、試験を実施するページ数(サンプル数)が多すぎると、現実的な時間とコストで試験を実施することができなくなってしまい、制作者だけでなく発注者やサイトの運営者の利益も損ねることになる。しかし、サンプル数が小さすぎると本来不合格とすべきサイトを誤って問題なしと判断してしまうリスクが増大する。すなわち時間とコスト、サンプル数は相反する要素であり、そのトレードオフ関係を理解したうえでサンプル数、あるいは選択方法を決定することが求められる。

[目次]に戻る

2.3 選択方法の選び方の目安

a) すべてのウェブページを選択する場合

この方法を用いることができるのは、サイトに含まれるページ数がせいぜい100ページ程度までである。それ以上のページを試験しようとすると、多大な時間とコストを要してしまうと考えられる。しかし、すべてのページを選択して試験すれば、そのサイトは厳密に箇条7の達成基準を満たしていることを保証できる。サイトの性格やウェブアクセシビリティの方針に従って、全てのページを試験すべきかどうか、その際の時間とコストが現実的であるかを検討して判断する必要がある。

b) ランダムに選択する場合

ランダムに選択する方法は、ランダムサンプリングにより試験の対象を特定して試験を実施する方法である。全てのページを選択する方法に比べて、達成基準を満たしていない問題のあるページを見過ごしてしまう危険はあるが、現実的な時間とコストで客観性のある試験を実施できる方法である。見過ごしてしまう危険を小さくするにはサンプルサイズを大きくすればよいし、全体の傾向だけを知るためには、少ないサンプル数でも有効である。8.1.2 b) では、サンプル数の目安を示していないが、8.3 「試験結果の表示」の8.3.2 「ウェブページ一式の場合」では、試験対象としたページの URI とページ数を明記することになっている。サンプリングや抜き取り検査の一般的なサンプル数の決定方法によると、サンプル数の決定は、全ページ数には大きく依存せず、数十ページの試験を行えば一定の信頼度で全ページに問題がない事を確認できることがわかっている。そこで、本ガイドラインでは、サンプル数の目安として、表1の数値を用いることを推奨する。なお、調達に対する試験でこの方法を用いて試験の対象を選択する場合には、発注者及び受注者双方の合意の下、仕様書や契約書でサンプル数をあらかじめ決定しておくことが望まれる。

表1 選択するページ数の目安
選択するページ数	説明
10ページ以下	試行的な試験であり、合否を判定するのには少ない
11〜24ページ	合否判定に要する最低限のページ数
25〜39ページ	合否判定に要する標準的なページ数
40ページ以上	合否判定に十分なページ数

c) ランダムでない方法で選択する場合

この方法は、ウェブサイトを利用する利用者の視点で、利用に支障がないかどうかを確認するために効率的な方法である。たとえば、トップページが達成基準を満たしていないと、サイト全体を利用することが困難になる可能性があり、重要性が高い。しかし、この選択方法だけで全体の合否を判定すると、試験の対象にならないページがないがしろにされて、多数の問題のあるページを見過ごしてしまう危険が増大する。

8.1.2では方法の一つを選択することになっているが、以上の議論から現実的には全てのページを選択するか、ランダムな方法とランダムでない方法を組み合わせ、表1に示すページ数を目安に試験をおこなうのがよい。また、専用のテストツールで時間とコストをかけずにテストが可能な一部の達成基準やその実装方法については、全てのページを対象にしたテストを併せて実施しておくことが有効である。

なお、サイトが複数業者等の分業により構築されている場合には、その担当範囲毎に品質にばらつきのあることがある。この様な場合には、担当範囲毎に選択して試験を実施するなどの方法が有効である。

2.4 試験で問題が発見された場合

試験の途中段階で問題が発見されたら試験を中断してもよいが、ランダムな方法で選択している場合には、次に実施する試験ではもう一度ランダムサンプリングを実施して最初から試験することが必要である。そのため、試験を中断せずに問題をできるだけ多く発見しておいたほうが、再試験の手戻りを減らすことができる。

なお、調達において、納品前の出荷試験で問題が発見された場合に、それを修正すべきかどうかは受発注者の契約で定めるべき事項である。しかし、問題が残っていることが明確な場合には、JIS X 8341-3:2010の達成基準を満たしているとはいえない。

2.5品質管理活動の重要性

出荷検査として実施する試験に合格するためには、企画、制作段階での達成基準や実装技術の理解の確認や実施の徹底、ケアレスミスを防ぐためのオーサリングツールの支援機能の活用やチェックツールを用いた全ページのテストと修正の実施など、制作プロセス全般の改善と見直しのたえざる品質管理活動が不可欠である。試験は、これらの活動が成功していることを検証するためのものであり、単に試験を行えば品質が改善するわけではない。

[目次]に戻る

3. JIS X 8341-3:2010 「8.2 試験の手順」に対する補足事項

3.1 実装チェックリストの作成方法の例

実装チェックリストの作成にはいくつかの方法が考えられる。本ガイドラインでは、テストツールなどによる機械的な試験と人による判断を組み合わせることで、効率良くかつ正確な試験の実施を実現するために、以下の様な試験方法の分類に基づいて実装チェックリストを作成する方法を例として示す。

試験方法は次の3つに分類できる。

コンテンツ内で試験すべき対象を機械的に発見可能な場合で、発見した対象を機械的に判断する方法 (AC: Automated Check)
コンテンツ内で試験すべき対象を機械的に発見可能な場合で、発見した対象を人が判断する方法 (AF: Automated Find)
コンテンツ内で試験すべき対象を機械的に発見することが不可能な場合で、対象を人が判断する方法 (HC: Human Check)

達成基準を検証可能な単位に分解して実装チェックリストを作成するが、どのように分解するかはJIS X 8341-3:2010 には規定されておらず、制作者や試験を実施する者に任されている。試験方法は用いるテストツールによっても異なるため、実装チェックリストは行った試験の結果が的確に記入できるような単位で作成すべきである。ここでは、3つの試験方法(AC, AF, HC)に応じて実装チェックリストを作成する方法を説明する。次のa)～f)の６つの作成手順に従って実装チェックリストを作成する。

a) Understanding WCAG 2.0日本語訳の「達成基準を満たすことのできる実装方法」を参照し、アクセシビリティサポーテッド情報に基づいて、使用できない実装方法があるかを確認する。
b) 試験に用いるテストツールを含む試験環境を考慮し、各達成基準に対応するUnderstanding WCAG 2.0日本語訳の「達成基準を満たすことのできる実装方法」を参照し、試験方法1, 2(AC, AF)が可能な実装方法があるかを確認する。
c) 「達成基準を満たすことのできる実装方法」の中に、使用できない実装方法や、試験方法1, 2 (AC, AF)が可能な実装方法が少なくとも一つある場合は、Understanding WCAG 2.0日本語訳の「達成基準を満たすことのできる実装方法」を用いて達成基準を分解し、実装チェックリストを作成する。使用できる実装方法の中に試験方法1, 2 (AC, AF)が不可能な実装方法がある場合は試験方法3(HC)を用いることになり、複数の実装方法を合わせるなど、人が判断しやすく効率的な試験を行うことのできる単位で実装チェックリストを作成する。
d) 達成基準には試験方法3(HC)のみを用いる場合は、達成基準の単位など、人が判断しやすく効率的な試験を行うことのできる単位で実装チェックリストを作成する。
e) 達成基準の例外事項など、達成基準に記載があって「達成基準を満たすことのできる実装方法」には記載がないチェック項目を確認する。そのようなチェック項目で、実装チェックリストにない項目があれば、実装チェックリストに追加する。
f) できあがった実装チェックリストと達成基準を比較し、達成基準の試験を行うために十分な内容となっているか確認する。不足しているチェック項目があれば、実装チェックリストに追加する。

作成手順別に実装チェックリストの作成手順を詳しく説明する。まず、作成手順a)では、Understanding WCAG 2.0日本語訳の「達成基準を満たすことのできる実装方法」を参照し、アクセシビリティサポーテッド情報に基づいて、使用できない実装方法があるかを確認する。

作成手順b)では、Understanding WCAG 2.0日本語訳の「達成基準を満たすことのできる実装方法」を参照し、実装方法の中に、試験に用いるテストツールで試験すべき対象を機械的に発見可能であるか、つまり試験方法1, 2 (AC, AF)が可能であるかを判断する。

作成手順c）では、Understanding WCAG 2.0日本語訳の「達成基準を満たすことのできる実装方法」を用いて達成基準を分解し、次の手順でチェック項目を作成する。ここでチェック項目とは、実装チェックリストにおける「実装方法」の欄に書く項目であるが、Techniques for WCAG 2.0に記載された「実装方法」と区別するため、チェック項目と記述することにする。

達成基準に対して、Understanding WCAG 2.0日本語訳の「達成基準を満たすことのできる実装方法」を参照して、必要な実装方法（あるいは実装方法の組み合わせ）を確認する。
Techniques for WCAG 2.0 (WCAG 2.0 実装方法集)を参照し、必要な実装方法（あるいは実装方法の組み合わせ）の「検証」を参照し、「判定基準」を確認する。
必要な実装方法（あるいは実装方法の組み合わせ）に対応する「判定基準」からチェック項目を作成する。この際に注意すべきは次の3点である。
- 「判定基準」の中に「判定基準」ごとにチェック項目を作成する。
- 関連する実装方法が複数ある場合には、Understanding WCAG 2.0日本語訳の「達成基準を満たすことのできる実装方法」を参照して、なるべく重複をなくすようにチェック項目を作成する。
- チェック項目がより具体的に書ける場合は具体的に書いて、チェック項目としてもよい。
作成したチェック項目を実装チェックリストの「実装方法」の欄に記入する。
- 「状況－番号－項目」の欄には、Understanding WCAG 2.0日本語訳のどの項目を参照したかがわかるように、状況と関連する「達成基準をみたすことのできる実装方法」の項目番号を記載する。例えば、Understanding WCAG 2.0日本語訳における記載が、状況Aの中で番号１を付与された実装方法であれば、「A-1」と記載する。また、状況Aの番号２が実装方法の組合せで構成されている場合に、その2番目の項目を示す場合は「A-2-2」と記載する。実装方法が状況により場合分けされていない項目に関しては、先頭の英字を省略し「1」などと記載する。

次に、作成手順d)では、Techniques for WCAG 2.0 (WCAG 2.0 実装方法集)の「判定基準」を参考にするのではなく、達成基準から直接チェック項目を作成する。達成基準の内容が達成できているかを確認するようなチェック項目とする。「状況－番号－項目」の欄には「－」と記入する。「関連する実装テクニック」の欄には、「達成基準」などと達成基準を参照してチェック項目を作成したことを明記する。達成基準からチェック項目を作成する場合には、Understanding WCAG 2.0日本語版を参照し、その達成基準の意図を理解して作成するとよい。

作成手順e)では、達成基準の例外事項など、達成基準の内容にはあるがUnderstanding WCAG 2.0日本語訳の「達成基準を満たすことのできる実装方法」の内容にはない項目を確認する。このような項目があればチェック項目に追加する。「状況－番号－項目」の欄には「－」と記入する。「関連する実装テクニック」の欄には、「達成基準の例外事項」などと達成基準を参照してチェック項目を作成したことを明記する。達成基準からチェック項目を作成する場合には、Understanding WCAG 2.0日本語訳を参照し、その達成基準の意図を理解して作成するとよい。

最後に、作成手順f)では、作成した実装チェックリストの内容を参照し、達成基準の内容が網羅されているかを確認する。

以上の手順により実装チェックリストが作成できる。ここで重要なのは、作成された実装チェックリストはテストツールの機能を元にして作成されている点である。試験結果を過不足なく表現できるようにするためには、テストツールを含む試験環境に合わせて実装チェックリストを作成することを推奨する。もちろん、テストツールを用いずに試験方法3のみを用いて試験を行ってもよい。この場合も、行った試験の結果を的確に表現できるように実装チェックリストを作成する。

なお、ここで紹介した例は、試験対象のウェブページの実装方法が不明な場合の実装チェックリストの作成方法である。どのような実装方法を用いているかわからないため、達成基準に対してありうるチェック項目を挙げている。このような実装チェックリストは第三者が試験を行う際に使用することができる。一方、ウェブページの作成者が試験を行う際には実装方法があらかじめ明らかであるので、実装に使用していない項目を削除してもよい。ただし、試験を行っていないのか、実装していないので試験が必要ないのかを明確にするためにも、ここで紹介した方法で実装チェックリストを作成することを推奨する。

[目次]に戻る

3.2 実装チェックリストの例

この実装チェックリストは、3.1 を用いて作成した達成等級Aに対応する実装チェックリストの例である。依存する技術として、HTML 4.01、CSS2およびJavaScriptの使用を想定しており、その他の技術や Ajax などの動的なコンテンツ、Webアプリケーションをカバーしているものではない。また、個々の実装技術のどれを選択するか、試験方法の選択は制作者に任されており、この例を参考に3.1に示す方法などを用いて修正して使用するのがよい。この実装チェックリストでは架空のテストツールの使用を想定しているため、実際に使用するテストツールに合わせて修正するとよい。また、この実装チェックリストをもとに試験を実施するためには、箇条7の達成基準、Understanding WCAG 2.0日本語版に記載された「達成基準を満たすことのできる実装方法」、またそこから参照される Techniques for WCAG 2.0日本語版の各実装方法の内容及び検証(Tests)に書かれた試験方法を理解していることが必要である。

なお、例として示す実装チェックリストの「適用」欄には、試験対象がウェブページに含まれているかを確認した結果を記入する。試験対象がウェブページに含まれていれば適用ありで「○」と記入し、その他の試験の結果を箇条8「試験方法」に基づき記入する。試験対象がウェブページに含まれていない場合は適用なしで「－」などと記入する。