Skip to content

テスト手順と期待される結果の書式(複数容認案)と適用例 (#174) - #321

Draft
nishimotz wants to merge 8 commits into
masterfrom
issue-174-procedure-result-pairs
Draft

nishimotz wants to merge 8 commits into
masterfrom
issue-174-procedure-result-pairs

Conversation

@nishimotz

@nishimotz nishimotz commented Oct 14, 2026 •

Copy link
Copy Markdown
Contributor

概要

Issue #174「既存のテストの手順と期待される結果を対にする」の検討用 WIP PR です。書式の案(notification/ の文書)と、その適用例としてのテストファイル修正を含めます。

提案する書き方(複数容認案)

閲覧環境ごとに「テスト手順」と「期待される結果」を対として書く。書き方を 1 つに絞らず、次を認めます。

  • 対見出し(推奨): # テスト手順と期待される結果 (…) の下に ## テスト手順 と ## 期待される結果
  • 分離形: 手順が 1 つのときは従来どおり # テスト手順 (…) と # 期待される結果 (…) でもよい
  • 複合: 1 手順から複数の確認事項が生じる場合(「次の 1.〜n. をすべて満たしている」等)は、まとめて 1 つの「期待される結果」にしてよい
  • 並列: 手順が複数のときは、対見出しの下に ## テスト手順 n / ## 期待される結果 n を 1 対 1 で対応させて書く

手順を分割するかどうかは、期待される結果の区切りに合わせる。結果が「項目ごとに独立して判定できる」区切りなら分解し、「1 つの観察についての複数の属性」なら複合のままにする。根拠と詳細は notification/テスト手順と期待される結果の書式.md を参照してください。

変更内容

  • 追加: notification/テスト手順と期待される結果の書式.md(書式の案。旧「試案」文書と議論メモを統合・改訂)
  • 削除: notification/テスト手順と期待される結果の書式(試案).md、notification/書式議論メモ(粒度とコンパクトさ).md(上記に統合)
  • 修正: 下記テストファイル 13 件 — 手順と期待される結果を 1 対 1 対応の対に分割
テスト 分割内容
0010-06 / 0010-07(音声) セル移動による行・列見出しの読み上げ確認を 2 対
0012-01(視覚・音声) ラベル “姓” / “名” / “住所” / “電話番号” の 4 対+“ハイフンは不要”の 1 対
0012-02 / 0012-03(音声) 関連付けラベルの読み上げ+対象外が読み上げない、の 2 対
0012-04 / 0012-05(視覚) マウス操作・キーボード操作を 2 対
0015-01 / 0015-02(音声) “猫は” / “犬は” / “亀は” の 3 対
0018-01(音声) 3 つの radio ボタンの確認を 3 対
0034-01(音声) 3 つの H2 要素の確認を 2 対に整理
0035-04(視覚・音声) 「ホーム」「会社概要」を 2 対(音声の複合も解消)
0036-01(視覚) フォーカス取得・喪失を 2 対
0036-02(視覚) 入力フィールド・ラジオボタン × 取得・喪失の 4 対
0057-02(音声) 手順 2 項目を 2 対に分解
0119-01(視覚) 初期状態・フォーカス・解除・マウス内・マウス外の 5 対

レビューで見てほしいこと

  • 書式の案(規則・複合や並列の扱い、分割の目安)の妥当性
  • 修正済みテストファイルの中身(特に分割の仕方)が期待どおりか
  • 既存のテストケースをこの書式に統一する時期・進め方

Note: この PR は議論用の WIP です。決着したら本文書の「状態」を更新します。

Related to #174

- notification/ に書式試案を追加(書式の厳密化のたたき台)
- WAIC-TEST-0012-01 の音声閲覧環境を対形式に変更(具体例)

書式仕様と変換方針は WG2 で合議中。この PR は検討用 WIP。
@nishimotz

nishimotz commented Oct 14, 2026 •

Copy link
Copy Markdown
Contributor Author

@/tmp/pr321_review_v2.md

@nishimotz nishimotz changed the title WIP: テスト手順と期待される結果を対にする提案 (#174) テスト手順と期待される結果の書式(複数容認案)と適用例 (#174) Oct 14, 2026
- notification/テスト手順と期待される結果の書式.md を追加(旧試案と議論メモを統合)
- 0034-01 音声: 手順・結果を 1 対 1 対応の 2 対に整理
- 0057-02 音声: 手順 2 項目を 2 対に分解
- 0119-01 視覚: 手順 5 項目・結果 2 項目をキーボード/マウスの 2 対に整理

refs: #174
- 0010-06/0010-07 音声: セル移動の確認を 2 対に分解
- 0012-02/0012-03 音声: 関連付けの確認を 2 対に分解
- 0012-04/0012-05 視覚: マウス・キーボード操作を 2 対に分解
- 0015-01/0015-02 音声: 3 つの要素の確認を 3 対に分解
- 0018-01 音声: 3 つの radio ボタンの確認を 3 対に分解
- 書式文書に「複合の分割の目安」と実施内容を追記

refs: #174
- 0012-01: 視覚・音声とも5対(ラベル4+ハイフンは不要1)
- 0035-04: 視覚・音声とも2対(「ホーム」「会社概要」)
- 0036-01: 視覚2対(フォーカス当たる/外れる)
- 0036-02: 視覚4対(入力フィールド/ラジオボタン × 当たる/外れる)
- 0119-01: 視覚5対(初期状態/フォーカス/解除/マウス内/マウス外)

refs: #174

This branch has not been deployed

No deployments
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

Projects

Development

Successfully merging this pull request may close these issues.

1 participant