WACATE 2015 冬 「60分でわかった気になるISO29119」セッションの事前公開スライドです

1. +
60分でわかった気になるISO29119
WACATE実行委員
朱峰 錦司
藤原 洋平

2. + 本セッションのゴール
規格の意義や成り立ちを知る
ISO/IEC/IEEE 29119（以降「29119」と略称） Part.1-4の
概要を理解し、説明できるようになる
29119を巡る議論を知り、有用な活用方法を考え
られるようになる
29119以外のソフトウェアテスト／品質業界にお
いて有用な規格を知る
2016/1/10WACATE 2015 冬
2

3. + 目次
1. 規格とは
2. 29119 概要
3. 29119 各Part概説
1. Part.1 Concepts and definitions
2. Part.2 Test processes
3. Part.3 Test documentation
4. Part.4 Test techniques
4. 29119の活用
5. 関連情報
2016/1/10WACATE 2015 冬
3

4. +
1. 規格とは
2016/1/10WACATE 2015 冬
4

5. + 1.1 規格
2016/1/10WACATE 2015 冬
5
与えられた状況において最適な秩序を達成する
ことを目的に、共通的に繰り返して使用する
ために、活動又はその結果に関する規則、指針又
は特性を規定する文書であって、合意によっ
て確立し、一般に認められている団体によって承認
されているもの。 JIS Z 8002:2006標準化団体

6. + 1.2 標準化団体
様々な分野に多様な団体が存在
 異なる団体が似た規格を提案をしてぶつかることも…
 VHS vs. βマックス
 Blu-ray vs. HD DVD
権威のある標準化団体の例
 国際
 ISO（国際標準化機構）
 IEC（国際電気標準会議）
 IEEE-SA
 国内
 JISC（日本工業標準調査会）
2016/1/10WACATE 2015 冬
6

7. + 1.2.1 ISO
国際標準化機構
 International Organization for Standardization
 「IOS」ではないので注意
 世界最大の標準化団体
 非政府組織、かつ、非営利法人
 本部はスイスのジュネーブ
 各国から1機関だけが参加可能
 日本からは後述のJISCが参加
 規格は以下のフォーマット
2016/1/10WACATE 2015 冬
7
ISO NNNNN-P:YYYY
規格番号 部（パート）番号 制作・改定年

8. + 1.2.2 IEC
国際電気標準会議
 International Electro-technical Commission
 電気・電子工学関連の国際規格を扱う
 ISOと共同策定することも多い
 規格は以下のフォーマット
 規格番号はISOとかぶらないように60000〜79999を利用
 ISOと共同の場合は結合して以下のとおり
2016/1/10WACATE 2015 冬
8
IEC NNNNN:xxxxxxx
規格番号 規格名
ISO/IEC NNNNN-P:YYYY xxxxxxx

9. + 1.2.3 IEEE-SA
IEEE
 The Institute of Electrical and Electronics Engineers, Inc.
 電気・電子工学関連の世界最大の学会
IEEE-SA
 IEEE内で規格策定を行っている団体
 規格は以下のフォーマット
 ISO/IECと共同で規格策定を行うこともしばしば
2016/1/10WACATE 2015 冬
9
IEEE NNN.PPx
規格番号 部番号 拡張ID

10. + 1.2.4 JISC
日本工業標準調査会
 Japanese Industrial Standards Committee
 経済産業省に設置された審議会
 日本の国家標準であるJISの策定を推進
 規格は以下のフォーマット
 部門記号はA〜Zまである
 IT系は「情報処理：X」
 ISO等の国際規格を翻訳したものは規格番号をそろえる
 昔は4桁だったが、最近はISOにあわせて5桁も用いる
2016/1/10WACATE 2015 冬
10
JIS X NNNNN-P:YYYY
規格番号 部（パート）番号 制作・改定年部門記号

11. + 1.3 ISO規格策定の流れ
 通常、初回の附議から6ステップを経て3年以内に発
行される
 文書レベルによってはステップが省略される
 各ステップごとに協議・意見照会を実施してブラシュアップ
していく
 策定ステップ
1. NP（新作業項目）
2. WD（作業原案）
3. CD（委員会原案）
4. DIS（国際規格原案）
5. FDIS（最終国際規格案）
6. Published
2016/1/10WACATE 2015 冬
11

12. +
2. 29119 概要
2016/1/10WACATE 2015 冬
12

13. + 2.1 規格概要
名称
 ISO/IEC/IEEE 29119 Software Testing
背景
 ソフトウェアテストに特化した用語、プロセス、文書な
どの国際標準が定義されていない
 IEEE 829はソフトウェアテスト「ドキュメント」のみ
 用語についてはISTQBがあるが、規格とは言い難い
策定
 2007年に策定に向けてISO/IEC JTC1/SC7内に検討グ
ループとして「WG26」が発足
 2012年からIEEEがjoint標準として参加
2016/1/10WACATE 2015 冬
13

14. + 2.2 WG26 日本国内関連メンバー
 日本メンバーは主にASTERより派遣
 http://www.softwaretestingstandard.org/ より抜粋
 Atsushi Mitomi - Hitachi, Japan
 Juichi Takahashi - Sony Corporation, Japan
 Kazuo Yabuta - Fujitsu, Japan
 Kiyoshi Ogawa - Nagoya Industrial Research Institute, Japan
 Kouichi Akiyama - Fuji Xerox, Japan
 Satomi Yoshizawa - NEC, Japan
 Satoshi Masuda - IBM, Japan
 Shinji Iwata - NTT Data Coorporation, Japan
 Tohru Matsuodani - Hosei University, Japan
 Tsuneo Yamaura - Tokai University, Japan
 Tsuyoshi Yumuto - Mamezou Co, Japan
 Yasuharu Nishi - University of Electro-Communications, Japan
 Yuji Shinoki - Hitachi, Japan
2016/1/10WACATE 2015 冬
14
主査
幹事幹事

15. + 2.3 規格の構成
現状以下の5パート構成
2016/1/10WACATE 2015 冬
15
パート タイトル ステータス
1
Concepts and definitions
-概念と定義-
Published (2013)
2
Test processes
-テストプロセス-
Published (2013)
3
Test documentation
-テスト文書-
Published (2013)
4
Test techniques
-テスト技法-
Published (2015)
5
Keyword-driven testing
-キーワード駆動テスト-
DIS
2015/12/1 publishほやほや

16. + 2.4 Part.5 Keyword-driven testing
 「キーワード駆動テスト」という手法を軸に、テスト
自動化システムのアーキテクチャやテストケースの抽
象化アプローチについて記載
 Part.1-4とはだいぶ毛色が違う
 章構成
 1〜4章：他Partと共通
 5章：Introduction to Keyword-Driven Testing
 キーワード駆動テストの概念定義
 6章：Application of Keyword-Driven Testing
 キーワード駆動テストの適用手順
 7章：Keyword-Driven Testing Frameworks
 キーワード駆動テストツールのアーキテクチャ
 8章：Data interchange
 キーワード駆動テストツール間のデータ変換
2016/1/10WACATE 2015 冬
16

17. +
3. 29119 各Part概説
2016/1/10WACATE 2015 冬
17

18. 2016/1/10WACATE 2015 冬
18
Part.1 ～ Part.4 を
40分で

19. 2016/1/10WACATE 2015 冬
19
分かった気になる

20. +
本スライドは意訳を含んでいます
正確性を求める場合は原著を参照してください
全項目は時間の都合上紹介できません
「内容」ではなく「概要」を紹介します
気になる項目は原著を確認してください

21. +
Part.1
Concepts and definitions

22. + Contents
前書き Foreword
イントロダクション Introduction
 1. 適用範囲 Scope
 2. 適合性 Conformance
 3. 引用規格 Normative reference
 4. 用語と定義 Terms and definitions
 5. ソフトウェアテストのコンセプト
Software Testing Concepts
補足 Annex

23. + Contents (Annex)
補足 Annex
 A. V&V におけるテストの役割
The Role of Testing in Verification and Validation
 B. メトリクスと計測
Metrics and Measures
 C. 様々なライフサイクルモデルにおけるテスト
Testing in Different Life Cycle Models
 D. テストサブプロセスの事例
Detailed Test Sub-process Examples
 E. テストの役割と責任
Roles and Responsibilities in Testing

24. + Contents (Main)
5. ソフトウェアテストのコンセプト
 5.1. ソフトウェアテストのイントロダクション
 5.2. 組織やプロジェクトにとっての
ソフトウェアテスト
 5.3. ソフトウェアのライフサイクルにおける
一般的なソフトウェアテスト
 5.4. リスクベースドテスト
 5.5. テストサブプロセス
 5.6. テストプラクティス
 5.7. テスト自動化
 5.8. 欠陥管理

25. + Contents (Main)
5. Software Testing Concepts
 5.1. Introduction to Software Testing
 5.2. Software Testing in
an Organizational and Project Context
 5.3. Generic Testing Processes in
the Software Life Cycle
 5.4. Risk-based Testing
 5.5. Test Sub-process
 5.6. Test Practices
 5.7. Automation in Testing
 5.8. Defect Management

26. + Contents (Main)
5. Software Testing Concepts
 5.1. Introduction to Software Testing
 5.2. Software Testing in
an Organizational and Project Context
 5.3. Generic Testing Processes in
the Software Life Cycle
 5.4. Risk-based Testing
 5.5. Test Sub-process
 5.6. Test Practices
 5.7. Automation in Testing
 5.8. Defect Management

27. +

28. + Introduction to Software Testing
意訳
ソフトウェアテストは必要だよね。
完璧なソフトウェアを作ることは不可能だから。
動的なテストと静的なテストを組み合わせると、
効果的だよ。
ソフトウェアテストはなるべく早く、多くの
不具合を見つけるべきなんだ。
…といった基本的な概念の説明

29. + Contents (Main)
5. Software Testing Concepts
 5.1. Introduction to Software Testing
 5.2. Software Testing in
an Organizational and Project Context
 5.3. Generic Testing Processes in
the Software Life Cycle
 5.4. Risk-based Testing
 5.5. Test Sub-process
 5.6. Test Practices
 5.7. Automation in Testing
 5.8. Defect Management

30. + Software Testing in an Organizational
and Project Context
要約
“テストポリシー” や “テスト戦略” といった、
上流のレイヤーの話から、
プロジェクトのコンテキストにおけるテスト
プロセスの話などについて言及

31. + Software Testing in an Organizational
and Project Context
上位レイヤーのお話
すべてのソフトウェアテストの基礎となる、
組織のテストポリシーと 1つ以上のテスト戦略が
あることが望ましい
テストポリシーやテスト戦略は無くても
テスト実施できるが、
一貫性が無く、効果的、効率的でない

32. + Software Testing in an Organizational
and Project Context
上位レイヤーのお話
“単一の” テスト戦略、計画、方法、プロセスでは
あらゆる状況に対応できない
従って、組織やプロジェクトは規格を参照し、
テストの詳細を絞り込む必要がある

33. + Software Testing in an Organizational
and Project Context
プロジェクト内のお話
プロジェクト計画は、テスト活動の考慮が必要
テスト計画では、組織のテストポリシーと戦略、
およびプロジェクト固有の決定を反映させる
テスト計画はテスト戦略を含む
テスト戦略は、次頁に記載された特定の項目に
取り組むべきである

34. +
引用： ISO/IEC/IEEE 29119-1:2013 p16 Figure 1
Figure 1
Multi-layered
test context diagram

35. + Software Testing in an Organizational
and Project Context
プロジェクト内のお話
プロジェクトのテストは多くの場合、いくつかの
テストサブプロセスによって実行される
 → 詳細は 5.5 で！
テストプロセスとテストサブプロセスの関係を
次の図に示す
テストプロセスはテストレベルやフェーズ、
テストタイプによって決定される

36. +
引用： ISO/IEC/IEEE 29119-1:2013 p17 Figure 2

37. + Software Testing in an Organizational
and Project Context
プロジェクト内のお話
テストプロセスについて
29119 では
「マルチレイヤーテストプロセスモデル」を
導入している
Organizational Test Process
Test Management processes
Dynamic Testing processes
詳細は、29119-2 にて！

38. + Contents (Main)
5. Software Testing Concepts
 5.1. Introduction to Software Testing
 5.2. Software Testing in
an Organizational and Project Context
 5.3. Generic Testing Processes in
the Software Life Cycle
 5.4. Risk-based Testing
 5.5. Test Sub-process
 5.6. Test Practices
 5.7. Automation in Testing
 5.8. Defect Management

39. + Generic Testing Processes in
the Software Life cycle
ソフトウェアにはライフサイクルタイムが存在
ソフトウェアテストは、開発だけでなく保守を
含めた広いコンテキストで行われる
この節は、ソフトウェア開発ライフサイクルと
そのサブプロセスやテストプロセス間の関係の
いくつかを概説する

40. +
引用： ISO/IEC/IEEE 29119-1:2013 p20 Figure 6

41. + Generic Testing Processes in
the Software Life cycle
図6 は、システムのライフサイクルの一例です
1つ以上の開発のライフサイクルおよび1つ以上の
運用ライフサイクルから構成されている
システムの初回リリース以降は運用に入る
開発されているすべての新しいバージョンは、
対応するテストと供に、それ自体が
開発プロジェクトとして扱われるべき

42. + Generic Testing Processes in
the Software Life cycle
5.3.x の流れ
Development Project Sub-processes and their
Results
On-going Maintenance and its Results
Support Processes for the Software
Development Life Cycle
品質保証とテストの関係
プロジェクトマネジメントとテストの関係
構成管理とテスト
プロセス改善とテスト

43. + Contents (Main)
5. Software Testing Concepts
 5.1. Introduction to Software Testing
 5.2. Software Testing in
an Organizational and Project Context
 5.3. Generic Testing Processes in
the Software Life Cycle
 5.4. Risk-based Testing
 5.5. Test Sub-process
 5.6. Test Practices
 5.7. Automation in Testing
 5.8. Defect Management

44. + Risk-based Testing
全てを網羅した（全数）ソフトウェアテストを
行うことは不可能である
そのため、テストはサンプリング活動をする
サンプリングのために様々なプラクティス、
技法、タイプのようなテストの概念が存在し、
それらは議論され、掲載されている
本規格では、リスクベースアプローチを用いて
指定された制約およびコンテキスト内で最適な
テスト実施を考える

45. + Risk-based Testing
リスクベースドテストを行うということは、
テスト中、最も優先順位が高いリスクに関心を
払っているということである
他の規格、
例えば ISO/IEC 16085 Risk Management は
システムのオペレーション時のリスク決定に
役立つ

46. + Risk-based Testing
5.4.x の流れ
5.2 で記載したマルチレイヤーテストプロセス
毎のリスクベースドテストの適用方法を紹介
Using Risk-Based Testing in…
Organizational Test Process
Test Management processes
Dynamic Testing processes

47. + Contents (Main)
5. Software Testing Concepts
 5.1. Introduction to Software Testing
 5.2. Software Testing in
an Organizational and Project Context
 5.3. Generic Testing Processes in
the Software Life Cycle
 5.4. Risk-based Testing
 5.5. Test Sub-process
 5.6. Test Practices
 5.7. Automation in Testing
 5.8. Defect Management

48. + Test Sub-process
テストプロジェクトはテスト戦略に基づき、
いくつかのテストサブプロセスで構成される
テストサブプロセスはソフトウェアのライフ
サイクルタイム、フェーズ、品質特性に関連
付けられる
テストサブプロセスは静的テストと動的テスト
両方を含んでもよい
テストサブプロセスを記述するときは、テスト
対象範囲と範囲外についての明記が重要

49. + Test Sub-process
テストサブプロセスは、唯一の静的または動的
テストから成ることはめずらしく、
クライテリアを満たすために繰り返し実施される
こともある（下図）
繰り返しの動的テストは、再テストや回帰テスト
と呼ばれる
引用： ISO/IEC/IEEE 29119-1:2013 p26 Figure 10

50. + Test Sub-process
テストプロジェクトにおける
テストサブプロセスの数は、テスト戦略と
ライフサイクルのフェーズに依存
ただし開発ライフサイクルには依存しない

51. + Contents (Main)
5. Software Testing Concepts
 5.1. Introduction to Software Testing
 5.2. Software Testing in
an Organizational and Project Context
 5.3. Generic Testing Processes in
the Software Life Cycle
 5.4. Risk-based Testing
 5.5. Test Sub-process
 5.6. Test Practices
 5.7. Automation in Testing
 5.8. Defect Management

52. + Test Practices
この 29119 では、広く採用されている
Risk-based アプローチを基本としている
ただ、計画やプロジェクトのテストを実施する
ための別のプラクティスはいくつか存在する
⇒ Risk-based Testing 以外の紹介
テスト戦略の選択は、組織、事業、および
テスト項目についてのリスクの様々によって
決定される

53. + Test Practices
Risk-based アプローチ以外のプラクティス
Requirements-Based Testing
Model-Based Testing
Mathematical-Based Testing
Experience-Based Testing
Scripted and Unscripted Testing
それぞれの目的や狙い、やり方、注意点などに
ついて書かれている

54. + Contents (Main)
5. Software Testing Concepts
 5.1. Introduction to Software Testing
 5.2. Software Testing in
an Organizational and Project Context
 5.3. Generic Testing Processes in
the Software Life Cycle
 5.4. Risk-based Testing
 5.5. Test Sub-process
 5.6. Test Practices
 5.7. Automation in Testing
 5.8. Defect Management

55. + Automation in Testing
テスト自動化の概要については 29119-2,
テスト技法からの側面は 29119-4 に記載
テスト自動化＝テスト“実行”の自動化
と思われがちだが、ツールを使用することで
自動化できるエリアがある
 テストケースマネジメント
 テスト進捗管理とコントロール
 テストデータ生成
 テストケース生成
 テスト実行
 テスト環境実装およびメンテナンス …他

56. + Contents (Main)
5. Software Testing Concepts
 5.1. Introduction to Software Testing
 5.2. Software Testing in
an Organizational and Project Context
 5.3. Generic Testing Processes in
the Software Life Cycle
 5.4. Risk-based Testing
 5.5. Test Sub-process
 5.6. Test Practices
 5.7. Automation in Testing
 5.8. Defect Management

57. + Defect Management
欠陥管理が必要な場合の調査、インシデント
レポート、再テストについては 29119-2 で
カバーしている
ただし他の全ての要素はカバーされていないので
下記規格を参照とのこと
ISO/IEC 12207
ISO/IEC 20000
IEEE 1044

58. + 再掲： Contents (Annex)
補足 Annex
 A. V&V におけるテストの役割
The Role of Testing in Verification and Validation
 B. メトリクスと計測
Metrics and Measures
 C. 様々なライフサイクルモデルにおけるテスト
Testing in Different Life Cycle Models
 D. テストサブプロセスの事例
Detailed Test Sub-process Examples
 E. テストの役割と責任
Roles and Responsibilities in Testing

59. + Concepts and definitions まとめ
29119-1 は、他の章からも参照されるため
定義とコンセプトについて明確化している
“そもそもソフトウェアテストとは？”という
ところから自動化やプロセス、モデルについて
幅広くカバーしている

60. +
Part.2
Test processes

61. + Contents (Common)
前書き Foreword
イントロダクション Introduction
 1. 適用範囲 Scope
 2. 適合性 Conformance
 3. 引用規格 Normative references
 4. 用語と定義 Terms and definitions
 5. 次ページ
補足 Annex

62. + Contents (Main)
5. マルチレイヤーテストプロセスモデル
Multi-Layer Test Process Model
6. 組織的テストプロセス
Organizational Test Process
7. テストマネジメントプロセス
Test Management Processes
8. 動的テストプロセス
Dynamic Test Processes

63. + Contents (Main)
5. マルチレイヤーテストプロセスモデル
Multi-Layer Test Process Model
6. 組織的テストプロセス
Organizational Test Process
7. テストマネジメントプロセス
Test Management Processes
8. 動的テストプロセス
Dynamic Test Processes

64. + The multi-layer relationship
between test processes
Organizational Test Process
Test Management Processes
Dynamic Test Processes

65. + Contents (Main)
5. マルチレイヤーテストプロセスモデル
Multi-Layer Test Process Model
6. 組織的テストプロセス
Organizational Test Process
7. テストマネジメントプロセス
Test Management Processes
8. 動的テストプロセス
Dynamic Test Processes

66. + Organizational Test Process
組織的テストプロセスは組織的なテスト仕様書の
開発と管理のために使用される
これらの仕様は、組織全体のテストに適用される
（つまり、プロジェクトベースではない）
組織のテストポリシーと組織のテスト戦略は、
組織のテスト仕様のひとつ

67. + Organizational Test Process
組織のテストポリシー：
 目的、目標、組織内のテストの全体的な範囲について
説明した、エグゼクティブレベルの文書
 組織的なテストプラクティスの確立やフレームワークを
提供する
組織のテスト戦略：
 テストが組織内で行われる方法を定義した、詳細な
技術資料
 プロジェクト固有のものではなく一般的な文書
 組織内のいくつかのプロジェクトためのガイドラインを
提供

68. +
引用： ISO/IEC/IEEE 29119-2:2013 p12 Figure 3

69. + Organizational Test Process
組織的テストプロセスはテスト仕様の作成、
レビュー、メンテナンスの活動を含む
また、組織的コンプライアンスの監視もカバー
している（次図）

70. +
引用： ISO/IEC/IEEE 29119-2:2013 p12 Figure 3

71. + Contents (Main)
5. マルチレイヤーテストプロセスモデル
Multi-Layer Test Process Model
6. 組織的テストプロセス
Organizational Test Process
7. テストマネジメントプロセス
Test Management Processes
8. 動的テストプロセス
Dynamic Test Processes

72. + Test Management Processes
全体のテストプロジェクト、または、
テストプロジェクト内の任意の
テストフェーズ（例：システムテスト）や
テストタイプ（例：性能テスト）の
テスト管理をカバーするプロセスを定義します
テストマネジメントプロセスは、次の 3つから
成り立ちます（次頁）

73. + Test Management Processes
Test Management Process
Test
Planning
Process
Test
Monitoring
& Control
Process
Test
Completion
Process

74. +
引用： ISO/IEC/IEEE 29119-2:2013 p16 Figure 6

75. +
引用： ISO/IEC/IEEE 29119-2:2013 p22 Figure 7

76. +
引用： ISO/IEC/IEEE 29119-2:2013 p25 Figure 8

77. + Contents (Main)
5. マルチレイヤーテストプロセスモデル
Multi-Layer Test Process Model
6. 組織的テストプロセス
Organizational Test Process
7. テストマネジメントプロセス
Test Management Processes
8. 動的テストプロセス
Dynamic Test Processes

78. + Dynamic Test Processes
動的テストプロセス
＝＞“いわゆるテスト”を想像してください
次の項目を含む
テスト設計・実装
テスト環境セットアップ・メンテナンス
テスト実行
インシデントレポート

79. + Dynamic Test Processes
Dynamic Test Process
Test Design &
Implementation
Test
Execution
Test
Environment
Set-up &
Maintenance
Test
Incident
Reporting

80. +
引用： ISO/IEC/IEEE 29119-2:2013 p30 Figure 10

81. + Test processes まとめ
29119 ではマルチレイヤーテストプロセス
モデルを採用している
組織的テストプロセス、テストマネジメント
プロセス、動的テストプロセスで構成される
各プロセスの中にもアクティビティのモデルが
存在する
各モデルの概要、目的、内容、成果物などに
ついて、本規格で説明されている

82. +
Part.3
Test documentation

83. + Contents (Common)
前書き Foreword
イントロダクション Introduction
 1. 適用範囲 Scope
 2. 適合性 Conformance
 3. 引用規格 Normative references
 4. 用語と定義 Terms and definitions
 5. 〜次ページ
補足 Annex

84. + Contents (Main)
5. 組織的なテストプロセスドキュメンテーション
Organizational Test Process Documentation
6. テストマネジメントプロセスドキュメンテーション
Test Management Processes Documentation
7. 動的テストプロセスドキュメンテーション
Dynamic Test Processes Documentation
…マルチレイヤーテストプロセスモデルに沿った
ドキュメンテーション

85. + Organizational Test Process
Documentation
組織的テストプロセスにおいて定義されている
ドキュメントは
テストポリシー
組織的テスト戦略
これらは組織レベルでのテストの情報を記載し
プロジェクトには依存しない
Annex に、サンプルがある

86. + Test Management Processes
Documentation
テストマネジメントプロセスにおいて定義
されているドキュメントは
テスト計画
テストステータスレポート
テスト完了レポート

87. + Dynamic Test Processes
Documentation
動的テストプロセスにおいて定義されている
ドキュメントは
テスト仕様
テスト設計仕様
テストケース仕様
テスト手順仕様
テストデータ要求
テスト環境要求
テストデータ準備報告
テスト環境準備報告
テスト実行文書
実行結果
テスト結果
テスト実行ログ
インシデント報告

88. +
引用:ISO/IEC/IEEE 29119-3:2013 p2 Figure 1

89. + Organizational Test Process
Documentation
テストポリシー：
ソフトウェアテストの原則と目標を組織内に
適用するための定義をする。
どのテストにより達成されるかは定義するが、
どうやってテスト実施するか、は定義しない。
組織的テスト戦略
テストポリシーの目的を達成するために、
どのように、テストを組織内で実施すべきかの
ガイドラインを提供する技術文書。

90. + Test Management Processes
Documentation
テスト計画
テスト計画とテスト管理文書を提供する。
テスト計画は、初期計画の意思決定を説明し、
その後はコントロール活動の一環として再計画
される。
テスト計画は複数のプロジェクト、単一の
プロジェクト、または特定のサブプロセスに
適用される。
テスト計画自体は単一でも、複数であってもよい。

91. + Test Management Processes
Documentation
テストステータスレポート
特定の期間に行われるテストのステータスに
関する情報を提供する。
テスト完了レポート
実施したテストの概要を示します。
これは全体の報告でも、または特定のテスト
サブプロセスについてでもよい。

92. + Dynamic Test Processes
Documentation
テスト仕様：テスト設計仕様
テスト設計仕様はテストされる機能を識別し、
実行するためのテストケースとテスト手順の
定義に向けた第一歩として各機能のテストベース
から導出されるテスト条件を識別する。
テスト仕様：テストケース仕様
テストケース仕様はテストカバレッジ項目と、
単一または複数の機能に対応するテストケースを
識別する

93. + Dynamic Test Processes
Documentation
テスト仕様：テスト手順仕様
関連するアクションとともに、実行手順を
選択したテストセットのテストケースに記述する。

94. + Dynamic Test Processes
Documentation
テストデータ要求
テスト手順仕様で定義されたテスト手順を
実行するために必要な試験データのプロパティに
ついて説明する。
テスト環境要求
テスト手順仕様で定義されたテスト手順を
実行するために必要なテスト環境のプロパティに
ついて説明する。

95. + Dynamic Test Processes
Documentation
テストデータ準備報告
テストデータ準備報告書は、各テストデータ
要求の達成を説明する。
テスト環境準備報告
テスト環境準備報告は、各テスト環境の要求の
達成を説明する。

96. + Dynamic Test Processes
Documentation
テスト実行文書：実行結果
テストケースを手順通りに実行した結果の
記録。実際の結果は、試験結果を決定するため、
期待結果と比較される。
テスト実行文書：テスト結果
テスト結果は、特定のテストケースの実行が
成功したか、失敗したかの記録である。
テスト実行文書：テスト実行ログ
1つ以上のテスト手順の実行の詳細の記録。

97. + Dynamic Test Processes
Documentation
インシデント報告
テストインシデントがインシデントレポートに
記録される。
不具合報告、バグレポート、障害報告などの
名前としても知られている。

98. +
Part.4
Test techniques

99. + Contents
前書き Foreword
イントロダクション Introduction
 1. 適用範囲 Scope
 2. 適合性 Conformance
 3. 引用規格 Normative references
 4. 用語と定義 Terms and definitions
 5. テスト設計技法 Test Design Techniques
 6. テストカバレッジ計測 Test Coverage Measurement
補足 Annex

100. + Contents
前書き Foreword
イントロダクション Introduction
 1. 適用範囲 Scope
 2. 適合性 Conformance
 3. 引用規格 Normative references
 4. 用語と定義 Terms and definitions
 5. テスト設計技法 Test Design Techniques
 6. テストカバレッジ計測 Test Coverage Measurement
補足 Annex

101. + Test Design Techniques
テスト設計技法では、以下の 3つを扱っている
仕様ベースの
テスト設計技法
構造ベースの
テスト設計技法
経験ベースの
テスト設計技法

102. + Test Design Techniques
テスト設計技法では、以下の 3つを扱っている
仕様ベースの
テスト設計技法
構造ベースの
テスト設計技法
経験ベースの
テスト設計技法
同値分割 クラシフィケーションツリー法
境界値分析 構文テスト 組み合わせテスト
デシジョンテーブル 原因結果グラフ法
状態遷移テスト シナリオテスト ランダムテスト

103. + Test Design Techniques
テスト設計技法では、以下の 3つを扱っている
仕様ベースの
テスト設計技法
構造ベースの
テスト設計技法
経験ベースの
テスト設計技法
ステートメントテスト ブランチテスト
デシジョンテスト ブランチコンディションテスト
複合ブランチコンディションテスト
改良版コンディションデシジョンカバレッジテスト
データフロウテスト

104. + Test Design Techniques
テスト設計技法では、以下の 3つを扱っている
仕様ベースの
テスト設計技法
構造ベースの
テスト設計技法
経験ベースの
テスト設計技法
エラー推測

105. + Contents
前書き Foreword
イントロダクション Introduction
 1. 適用範囲 Scope
 2. 適合性 Conformance
 3. 引用規格 Normative references
 4. 用語と定義 Terms and definitions
 5. テスト設計技法 Test Design Techniques
 6. テストカバレッジ計測 Test Coverage Measurement
補足 Annex

106. + Test Coverage Measurement
5. テスト設計技法 において出てきた其々の
技法に対してカバレッジ計測の仕方を紹介
カバレッジの計算式は
Coverage:特定のテスト設計技法により達成
されるカバレッジ
N:実行されるテストケースによりカバーされる数
T:テスト設計技法により識別された総項目数
%100 






T
N
Coverage

107. + Test Coverage Measurment
注意
ISO/IEC/IEEE29119 のこの部分で定義された
カバレッジ計測は、テスト設計技法で達成可能な
異なるカバレッジの度合いに基づいています
例えば
テスト対象の機能をどれだけ網羅できるか、とか
複数の設計技法との比較ができる、とか
いうような指標になるわけではない

108. + Test Coverage Measurment
例：Equivalence Partition Coverage
Coverage for equivalence partitioning shall be
calculated using the following definitions:
Coverage is the equivalence partition coverage
N is the number of partitions covered by
executed test cases
T is the total number of partitions identified
引用： ISO/IEC/IEEE 29119-4:2015 p26

109. +
4. 29119の活用
2016/1/10WACATE 2015 冬
110

110. + 4.1 反対運動
ISO29119に対して著名なソフトウェアテスト技
術者らがブログ等で反対運動（署名）を実施
代表的な記事の翻訳をボンランティアで電通大の
西主査らが公開中
 http://qualab.jp/category/29119/
2016/1/10WACATE 2015 冬
111

111. + 4.2 反対運動の主な主張
 重厚長大なプロセスモデルを採用している
 不必要なドキュメンテーションを要求している
 事実上の強制標準となりえるリスクがある
 コンサルティング等のビジネス活用に適した形で策定
された部分がある
 規格に適合しないプロセスを採用した場合、たとえそ
れが本質に最適であっても、誤ったアプローチである
との判断がくだされるリスクがある
 探索的テスト等の手法解説に実践的でない内容がある
2016/1/10WACATE 2015 冬
112

112. + 4.3 活用の第一歩の例
Part.2,3
 既存プロジェクトのアセスメントを実施する
 新規プロジェクト計画の際にベースとする
 テーラリング必須！
Part.4
 テスト技法に関する学習のガイド、辞書とする
全体
 リスクベースドテストのガイドとする
2016/1/10WACATE 2015 冬
113

113. +
5. 関連情報
2016/1/10WACATE 2015 冬
114

114. + 5.1 その他の規格
ソフトウェアテスト／品質業界（？）でよく目に
する規格
 組織のテストプロセスアセスメントの規格
 ISO/IEC 33063
 ソフトウェア品質モデルの規格
 ISO/IEC 25010
 新しいものに置き換えられた規格
 IEEE 829
 ISO/IEC 9126-1
2016/1/10WACATE 2015 冬
115

115. + 5.1.1 ISO/IEC 33063
組織に対するプロセスアセスメント規格である
ISO/IEC 33000シリーズのひとつ
 Process assessment model for software testing
29119とセットで策定が進められた規格
 Part.2をベースにアセスメントを実施する
昨日のTPI NEXTとの関連は（おそらく）なし
 どちらがいいということはなく適材適所
2016/1/10WACATE 2015 冬
116

116. + 5.1.2 ISO/IEC 25010（1/2）
ソフトウェアの品質要求や評価に関する規格であ
るISO/IEC 25000シリーズのひとつ
 System and software quality models
ソフトウェアについて2つの品質モデルを定義
 利用時の品質モデル
 製品品質モデル
2016/1/10WACATE 2015 冬
117

117. + 5.1.2 ISO/IEC 25010（2/2）
2016/1/10WACATE 2015 冬
118
モデル 品質特性 品質副特性
利用時の
品質モデル
有効性 有効性
効率性 効率性
満足性 実用性、信用性、快感性、快適性
リスク回避性 経済リスク緩和性、健康・安全リスク緩和性、環境リスク緩和性
利用状況網羅性 利用状況完全性、柔軟性
製品
品質モデル
機能適合性 機能完全性、機能正確性、機能適切性
性能効率性 時間効率性、資源効率性、容量満足性
互換性 共存性、相互運用性
使用性 適切度認識性、習得性、運用操作性、ユーザエラー防止性、ユーザ
インタフェース快美性、アクセシビリティ
信頼性 成熟性、可用性、障害許容性（耐故障性）、回復性
セキュリティ 機密性、インテグリティ、否認防止性、責任追跡性、真正性
保守性 モジュール性、再利用性、解析性、修正性、試験性
移植性 適応性、設置性、置換性

118. + 5.1.3 IEEE 829
 Software test documentation
 1998年に策定され2008年に改定
 現状は29119 Part.3に置き換え
 以下の10個のテスト文書が定義されている
1. Master Test Plan
2. Level Test Plan
3. Level Test Design
4. Level Test Case
5. Level Test Procedure
6. Level Test Log
7. Anomaly Report
8. Level Interim Test Status Report
9. Level Test Report
10. Master Test Report
2016/1/10WACATE 2015 冬
119

119. + 5.1.4 ISO/IEC 9126-1
 Quality model
 2001年に9126シリーズのPart.1として策定
 ISO/IEC 9126自体は1998年に策定
 現状はISO/IEC 25010に置き換え
 以下の品質モデルを定義
2016/1/10WACATE 2015 冬
120
モデル 品質特性 品質副特性
利用時の
品質モデル
有効性 （なし）
生産性 （なし）
安全性 （なし）
満足度 （なし）
外部・内部
品質モデル
機能性 合目的性、正確性、相互運用性、セキュリティ、機能性標準適合性
信頼性 成熟性、障害許容性、回復性、信頼性標準適合性
使用性 理解性、学習性、操作性、魅力性、使用性標準適合性
効率性 時間効率性、資源効率性、効率性標準適合性
保守性 解析性、変更性、安定性、試験性、保守性標準適合性
移植性 適応性、設置性、共存性、置換性、移植性標準適合性

120. + 5.2 29119の購入方法
2種類の購入方法
2016/1/10WACATE 2015 冬
121
購入方法 メリット デメリット
ISOサイトで購入 • ちょっと安い
• Pre-publishedな規格も
買える
• Part.5を先取り
• 英語
• 支払い方法は基本クレ
ジットカード
JSAサイトで購入 • 日本語
• 納品書とか領収書とか、
会社決裁で必要そうな
書類を簡単に入手可能
• ちょっと高い
• 1割増ぐらい
• JSA会員だと5%増
ぐらい
• Publishedな規格しか買
えない

121. + 5.2.1 ISOサイトでの購入方法（1/2）
ISOの公式サイトで会員登録をして規格（パート
ごと）のページへ行って購入
2016/1/10WACATE 2015 冬
122
カートに追加

122. + 5.2.1 ISOサイトでの購入方法（2/2）
各パートの購入ページと値段は以下の通り
2016/1/10WACATE 2015 冬
123
パート URL 値段
1
http://www.iso.org/iso/home/store/catal
ogue_tc/catalogue_detail.htm?csnumber
=45142
178 CHF
= 20,949 JPY
2
http://www.iso.org/iso/home/store/catal
ogue_tc/catalogue_detail.htm?csnumber
=56736
178 CHF
= 20,949 JPY
3
http://www.iso.org/iso/home/store/catal
ogue_tc/catalogue_detail.htm?csnumber
=56737
198 CHF
= 23,302 JPY
4
http://www.iso.org/iso/home/store/catal
ogue_tc/catalogue_detail.htm?csnumber
=60245
198 CHF
= 23,302 JPY
5
http://www.iso.org/iso/home/store/catal
ogue_tc/catalogue_detail.htm?csnumber
=62821
58 CHF (DIS)
= 6,826 JPY

123. + 5.2.2 JSAサイトでの購入方法
各パートの購入ページと値段は以下の通り
2016/1/10WACATE 2015 冬
124
パート URL 値段
1
http://www.webstore.jsa.or.jp/webstore/Com/
FlowControl.jsp?bunsyoId=ISO%2FIEC%2FIEE
E+29119-1%3A2013&dantaiCd=ISO&status=1
23,068 JPY
2
http://www.webstore.jsa.or.jp/webstore/Com/
FlowControl.jsp?bunsyoId=ISO%2FIEC%2FIEE
E+29119-2%3A2013&dantaiCd=ISO&status=1
23,068 JPY
3
http://www.webstore.jsa.or.jp/webstore/Com/
FlowControl.jsp?bunsyoId=ISO%2FIEC%2FIEE
E+29119-3%3A2013&dantaiCd=ISO&status=1
25,660 JPY
4
http://www.webstore.jsa.or.jp/webstore/Com/
FlowControl.jsp?bunsyoId=ISO%2FIEC%2FIEE
E+29119-4%3A2015&dantaiCd=ISO&status=1
25,660 JPY

124. +
まずは読んでみましょう！
2016/1/10 WACATE 2015 冬