もしかして、テストって誰でもできると思っちゃってませんか？最新のテストの動向を知りたくないですか？

115 July 2017, OSC 2017 Hokkaido © 2017Test Engineer's Forum 北海道
も
し
か
し
て
、
テ
ス
ト
っ
て
誰
で
も
で
き
る
と
思
っ
ち
ゃ
っ
て
ま
せ
ん
か
？
最
新
の
テ
ス
ト
の
動
向
を
知
り
た
く
な
い
で
す
か
？
TEF-Do Community
Makoto Nakakuki

自己紹介
中岫信／Makoto Nakakuki
2003年から社会人
所属：
会社（許可を取っていないので省略）
TEF道
JaSST北海道

自己紹介
中岫信／Makoto Nakakuki
2003年から社会人
所属：
会社（許可を取っていないので省略）
TEF道
JaSST北海道
趣味：
燻製（自称燻製段位3段）

TEF道
Testing Engineer's Forum 北海道
ソフトウェアテスト勉強会
通称 “TEF道”
ソフトウェアのテストを中心としたコミュニティ
Activity
• 勉強会
• 他のコミュニティと交流
• 飲み会

Contents
1.イントロ
2.テストケース作成の問題
3.問題解決への提案

前置きとして
ちょっと一言

テストコードとか
Unit Testとか
TDDとか
の話だと思った人
ちょっと一言

そんな話はしませんので
あしからず
ちょっと一言

いきなりですが
ちょっと一言

よくわかんない
テストやってませんか？
ちょっと一言

テストやってるのに
市場不具合起きてませんか？
ちょっと一言

それなのに、
仕様書のコピペを
新人にやらせてませんか？
（通称：CPM）
ちょっと一言

あおりました
すみません
ちょっと一言

気を取り直して
ちょっと一言

近年、
ソフトウェアは大規模になり、
工業製品の重要な要素となっている…。
1.イントロ
注意：イメージです ©SUNRIZE

近年、
ソフトウェアシステムが成長するにつれて、
品質保証のためのソフトウェアテストも
また巨大で複雑になっていく…。
1.イントロ

近年、
ソフトウェアシステムが成長するにつれて、
品質保証のためのソフトウェアテストも
また巨大で複雑になっていく…。
1つのプロジェクトには
数百万ものテストケースが存在し、
多くのテストタイプとテストレベルを網羅しているため
非常に複雑化している…。
1.イントロ

1.イントロ

1.イントロ
• ツリー構造

1.イントロ
• ツリー構造
• 単純なマトリクス（表）

1.イントロ
• ツリー構造
• 伝統的なドキュメント

1.イントロ
• ツリー構造
• 伝統的なドキュメント
巨大で複雑なソフトウェアテストの概要を
記述することは困難

1.イントロ
多くの人がテストケースを設計する

1.イントロ
テスト技術の差

1.イントロ
テスト技術の差
不揃いな
テストの表現

1.イントロ
テスト全体の確認と管理が難しい

→ テストの概要を把握することが難しい
1.イントロ

→ テストケースが漏れる
1.イントロ

→ 重大な欠陥が検出されない
1.イントロ

1.イントロ

Today’s Proposal
System System
Real System
Document
Document Document
Document
Document
Document
Document
Additional
Feature
Additional
Feature
Additional
Feature
Additional
Feature
Document
Document
Document
Quality Attributes
+ Guideline Suitability : Userbility
Userbility
+ Other OS : Compatibility
Compatibility
Feature/UI
~ Alert in the background : Compatibility
+ Confirm each function : FunctionalSuitability
<<Alert>>
Timer
+ Unfavorable Stress : PerformanceEfficiency
+ Number of data : PerformanceEfficiency
Stopwatch
+ XXXX()
+ XXXX
Timer
+ XXXX()
+ XXXX
Timer
TimerBehabior SelectMusic
Test Design of one of the unit “Timer”
Concrete Test Case
Concrete Test Case
Concrete Test Case
Concrete Test Case
Concrete Test Case
Concrete Test Case
1. Graphical
expression
2. Enable to
maintain
using model3. stepwise design
using
consistent notation

あっ！！
国際カンファレンスの
スライドをそのまま
貼り付けてしまいました

どやっ
同じような内容を
国際カンファレンスで
発表してきたので
うっかり

どやっ
間違いました
すみません
(・ω<) てへぺろ

現在のテスト現場で遭遇する問題:
1. テスト規模拡大と複雑化
2. 文書表現の偏り
3. 継続的に変更され続ける

System System
1.テスト規模の拡大と複雑化

System System
System
Appli-
cation
Appli-
cation
Application
Process Process Process
Function
Function
Function
Class
Class
Func
Class
Method
Method
・・・

System System
System
Appli-
cation
Appli-
cation
Application
Process Process Process
Function
Function
Function
Class
Class
Func
Class
Method
Method
・・・
テスト技法
テストプロセステスト方針
テスト設計
システムテスト
回帰テスト
モンキー
テスト
探索的テスト
性能テスト
機能テスト
負荷テスト
巨大で複雑

→異なるスキルを持つ多くのテストエンジニア
A
B
C
テストエンジニア

→異なる「スキル」を持つ多くのテストエンジニア
テスト
設計
テスト
設計
テスト
設計
Test
Case
Test
Case Test
CaseTest
Case
Test
Case
Test
Case
Test
CaseTest
Case
Test
Case
Test
Case
Test
Case Test
Case
Test
Case
Test
Case
Test
Case
Test
Case
Test
Case
Test
Case
A
B
C
ばらつきが
発生する

→異なる「スキル」を持つ多くのテストエンジニア
テスト
設計
テスト
設計
テスト
設計
Test
Case
Test
Case Test
CaseTest
Case
Test
Case
Test
Case
Test
CaseTest
Case
Test
Case
Test
Case
Test
Case Test
Case
Test
Case
Test
Case
Test
Case
Test
Case
Test
Case
Test
Case
A
B
C
≠
異なるテスト設計
再検討することは
非常に困難
テスト
設計
テスト
設計

2.文書表現の偏り
大きなシステムには多く文書がある…
System System
Real System

System System
Real System
ドキュメント

System System
Real System
ドキュメント
ドキュメント
ドキュメント
ドキュメント

System System
Real System
ドキュメント
ドキュメント無効な
ドキュメント
ドキュメント
ドキュメント
ドキュメント
ドキュメント

System System
Real System
ドキュメント
ドキュメント無効な
ドキュメント
ドキュメント
ドキュメント
ドキュメント
ドキュメント
XXX は XXX で、 XXX は XXX を含み,
XXX, XXX, XXX かつ XXX
XXX は XXX で …
読むのも退屈、書くのも面倒

伝統的なテスト文書には、時には…
Large Middle Small
push button
release button
・・・
lock
lid open
・・・
TestCase
2.6 hot water
supply
supply
not supply
テスト仕様
大中小

伝統的なテスト文書には、時には…
Large Middle Small
push button
release button
・・・
lock
lid open
・・・
TestCase
2.6 hot water
supply
supply
not supply
テスト仕様
大中小
Powered by…

3.継続的な変更
System System
Real System
ドキュメント
ドキュメント Document
ドキュメント
ドキュメント
ドキュメント
XXX は XXX で、 XXX は XXX を含み,
XXX, XXX, XXX かつ XXX
XXX は XXX で …
ドキュメント
ソフトウェアテストの概要を表現するのは難しく…
Large Middle Small
push button
release button
・・・
lock
lid open
・・・
TestCase
2.6 hot water
supply
supply
not
supply
テスト仕様
大中小

System System
Real System
ドキュメント
ドキュメントドキュメント
ドキュメント
ドキュメント
ドキュメント
ドキュメント
ソフトウェアテストの概要を表現するのは難しく…
機能
追加
機能
追加
機能
追加
機能
追加

System System
Real System
ドキュメント
ドキュメントドキュメント
ドキュメント
ドキュメント
ドキュメント
ドキュメント
ソフトウェアテストの概要を表現するのが難しすぎる！！
機能
追加
機能
追加
機能
追加
機能
追加
ドキュメント
ドキュメント
ドキュメント

結果として…
System System
Real System
Document
Document Document
Document
Document
Document
Document
Additional
Feature
Additional
Feature
Additional
Feature
Additional
Feature
Document
Document
Document
Test
Design
Test
Design
Test
Design
Test
Case
Test
Case Test
CaseTest
Case
Test
Case
Test
Case
Test
CaseTest
Case
Test
Case
Test
Case
Test
Case Test
Case
Test
Case
Test
Case
Test
Case
Test
Case
Test
Case
Test
Case
A
B
C
テストケース
テストケース
ドキュメントレビューで
漏れの検出は難しい
ばらつきによって
テストケースが漏れる

結果として…
System System
Real System
Document
Document Document
Document
Document
Document
Document
Additional
Feature
Additional
Feature
Additional
Feature
Additional
Feature
Document
Document
Document
Test
Design
Test
Design
Test
Design
Test
Case
Test
Case Test
CaseTest
Case
Test
Case
Test
Case
Test
CaseTest
Case
Test
Case
Test
Case
Test
Case Test
Case
Test
Case
Test
Case
Test
Case
Test
Case
Test
Case
Test
Case
A
B
C
テストケース
テストケース
テストケース
テストケース
漏れ原因

結果として…
System System
Real System
Document
Document Document
Document
Document
Document
Document
Additional
Feature
Additional
Feature
Additional
Feature
Additional
Feature
Document
Document
Document
Test
Design
Test
Design
Test
Design
Test
Case
Test
Case Test
CaseTest
Case
Test
Case
Test
Case
Test
CaseTest
Case
Test
Case
Test
Case
Test
Case Test
Case
Test
Case
Test
Case
Test
Case
Test
Case
Test
Case
Test
Case
A
B
C
テストケース
テストケース
テストケース
テストケース
テストケース
テストケース
レビューで漏れを
見つけにくい
製品の故障

2つの問題を取り上げる
System System
Real System
Document
Document Document
Document
Document
Document
Document
Additional
Feature
Additional
Feature
Additional
Feature
Additional
Feature
Document
Document
Document
Test
Design
Test
Design
Test
Design
Test
Case
Test
Case Test
CaseTest
Case
Test
Case
Test
Case
Test
CaseTest
Case
Test
Case
Test
Case
Test
Case Test
Case
Test
Case
Test
Case
Test
Case
Test
Case
Test
Case
Test
Case
A
B
C
テストケースまたはテスト設計の
ばらつき
ソフトウェアテストの概要を
表現するのは難しい

問題の解決
System System
Real System
Document
Document Document
Document
Document
Document
Document
Additional
Feature
Additional
Feature
Additional
Feature
Additional
Feature
Document
Document
Document
Test
Design
Test
Design
Test
Design
Test
Case
Test
Case Test
CaseTest
Case
Test
Case
Test
Case
Test
CaseTest
Case
Test
Case
Test
Case
Test
Case Test
Case
Test
Case
Test
Case
Test
Case
Test
Case
Test
Case
Test
Case
A
B
C
3. 問題解決への提案

問題の解決
System System
Real System
Document
Document Document
Document
Document
Document
Document
Additional
Feature
Additional
Feature
Additional
Feature
Additional
Feature
Document
Document
Document
Test
Design
Test
Design
Test
Design
Test
Case
Test
Case Test
CaseTest
Case
Test
Case
Test
Case
Test
CaseTest
Case
Test
Case
Test
Case
Test
Case Test
Case
Test
Case
Test
Case
Test
Case
Test
Case
Test
Case
Test
Case
A
B
C
Quality Attributes
Userbility
Compatibility
Feature/UI
<<Alert>>
Timer
Stopwatch
1.グラフィカルな
表現

問題の解決
System System
Real System
Document
Document Document
Document
Document
Document
Document
Additional
Feature
Additional
Feature
Additional
Feature
Additional
Feature
Document
Document
Document
Test
Design
Test
Design
Test
Design
Test
Case
Test
Case Test
CaseTest
Case
Test
Case
Test
Case
Test
CaseTest
Case
Test
Case
Test
Case
Test
Case Test
Case
Test
Case
Test
Case
Test
Case
Test
Case
Test
Case
Test
Case
A
B
C
Quality Attributes
Userbility
Compatibility
Feature/UI
<<Alert>>
Timer
Stopwatch
表現
2. モデルを使うことで
メンテナンスが向上

Test
Design
Test
Design
Test
Design
Test
Case
Test
Case Test
CaseTest
Case
Test
Case
Test
Case
Test
CaseTest
Case
Test
Case
Test
Case
Test
Case Test
Case
Test
Case
Test
Case
Test
Case
Test
Case
Test
Case
Test
Case
A
B
C
System System
Real System
Document
Document Document
Document
Document
Document
Document
Additional
Feature
Additional
Feature
Additional
Feature
Additional
Feature
Document
Document
Document
Quality Attributes
Userbility
Compatibility
Feature/UI
<<Alert>>
Timer
Stopwatch
問題の解決
+ XXXX()
+ XXXX
Timer
+ XXXX()
+ XXXX
Timer
TimerBehabior SelectMusic
Test Design of one of the unit “Timer”
Concrete Test Case
Concrete Test Case
Concrete Test Case
Concrete Test Case
Concrete Test Case
Concrete Test Case
3.一貫した表記を使用した
段階的なデザイン
表現
2. モデルを使うことで
メンテナンスが向上

つまり
テストケースを作るための
モデリング
をした方が良い

テストケースのモデリングっ
て
したことある？

テストクラスタで
ホットな話題の一つは
テストのモデリング！！

テストの設計技術を競う
テスト設計コンテストという
酔狂なコンテストがありまして
そこで様々なモデリング方法が
試されたり、提案されたりしている
注意：関係者ではありません
注意：モデリングのコンテストではありません

3つほど紹介
• UTP
• VSTeP
• テストカタマリー

3-1.UTP

3-1.UTP
UTPとは

3-1.UTP
UTPとは
• Unit Test Patternではありません

3-1.UTP
UTPとは
• UTP:UML Testing Profile

3-1.UTP
UTPとは
• UTP:UML Testing Profile
• UMLを利用したテストのモデリングプロファイル

3-1.UTP
UTP2.0が最近でました！！

3-1.UTP
近々でるはず

3-1.UTP
使ってみて改善提案するとプロファイルの作成者として
名前（爪痕）が残せるかも
近々でるはず
UTP自体は
改修されている状態

3-1.UTP
智美塾ってところで
勉強&研究を
月1回のペースでやってます

3-1.UTP
テスト対象のシステムをUMLで表現
こちらは「UML」でのモデル
右下図は「Money」パッケージ内のクラス図

3-1.UTP
テストでのシステム構成を表現
「Money」パッケージをテストするための
テストケース群を「MoneyUnitTest」で表現

3-1.UTP
テストのふるまいを表現
これは、テストケースのふるまいを
シーケンス図で表したもの。

3-1.UTP
システムテストの表現
テスト対象のパッケージ（右下）と
ATMTestという（多分）テストレベル
を表現したもの（左上）。

3-1.UTP
テストで使用するツールとあわせた
環境を表現したもの。

3-1.UTP
テストケースのふるまいを
アクティビティ図（左上）と
シーケンス図（右下）で表現したもの

3-1.UTP
参考サイト
• UTP - Object Management Group
• UTP（UML Testing Profile）概要紹介

3-2.VSTeP

3-2.VSTeP
VSTePとは

3-2.VSTeP
VSTePとは
• 電気通信大学の西康晴氏が考案したソフトウェアテスト開
発技法

3-2.VSTeP
VSTePとは
発技法
• VSTeP:Viewpoint-based Software Test
Engineering Process

3-2.VSTeP
VSTePとは
発技法
• VSTeP:Viewpoint-based Software Test
Engineering Process
• テスト観点を核にして、テストの要求から
テストケース、テスト手順までを
シームレスに開発していく方法論

3-2.VSTeP
特徴
• テスト観点の抽出、モデリングをチーム、もしくは、ステークホ
ルダーと整理していくのが前提になっている
⇒関係者全員で納得感のあるテストが抽出できる

3-2.VSTeP
特徴
• テスト観点は参加者たちの実力がもろに反映されるため、
ベースとなるスキルアップも必要になる

3-2.VSTeP
特徴
• テスト観点は参加者たちの実力がもろに反映されるため、
ベースとなるスキルアップも必要になる
• 検出欠陥からのリバース分析のツールにもなる

参考サイト
• VSTeP - Qualab
• テスト観点に基づくテスト開発方法論 VSTePの概
要
3-2.VSTeP

3-3.テストカタマリー

テストカタマリーとは
• STUDIO IBURIという謎の団体が打ち上げた記法

• テストカタマリー：テストの塊

• テストカタマリー：テストの塊
• テスト観点とテストカテゴリ、抽象的なテストケースを
クラス図を利用して表現する記法

胆振
STUDIO IBURI
※1 InSTA = International Workshop on Software Test Architecture
※2 SQiP = Software Quality Profession)
テスト設計コンテストのためにこっそり結成した部隊
メンバーは胆振地方に縁があるとか、ないとか
【戦績】
• テスト設計コンテスト’17 OPENクラス優勝
• InSTA(※1)で事例発表
• SQiP(※2)シンポジウム2017（発表予定）

特徴
• UTPとVSTePのちょうど中間のモデリング

特徴
• テストの概要の整理がメイン

特徴
• テストの概要の整理がメイン
• UMLモデリングツールが使えればそれでお手軽に描ける

参考サイト
• どしろうと製作所
• テストカタマリーの紹介1～6
• テストカタマリーを活用したテスト設計プロセス案1
～7

せっかくなので
少し解説

テストカタマリーのアイデア
テスト設計フローの応用...
テスト設計のための
いくつかの領域

テストスコープ

分割されたテストスコープ

優先順位を決定する
High priority
Low priority

テスト設計ライフサイクルにおけるテスト設計フローの適用
・Test Case１
・Test Case２
…
テストの詳細設計
分割した
テストスコープの
一部

一連のテストケースを持つ
分割されたテストスコープを
「テストカタマリー」
と定義。
・テストケース１
・テストケース２
…
テストスコープの一部
=テストカタマリー
テストケース
詳細
塊

…
UMLクラス図の流用
アラーム登録
+各機能 : 機能特性
~登録数 : 性能効率性
…
+アラーム登録 : 各機能
+アラーム解除 : 各機能
~最大登録数検証 : 登録数
…
iOS時計アプリ
アラーム登録
テストケース
詳細
塊

…
アラーム登録
…
…
抽象的テストケース
テストケース
詳細
塊

…
詳細
塊
アラーム登録
…
…
各ハイレベルテストケースから
具体的なテストケースが作成
アラーム解除編集画面にて登録解除
アラーム画面にて登録解除
未登録のときに登録解除
複数の具体的テストケース
テストケース

…
Divided Test Scope
全体的なテスト範囲が、
1枚の絵で描ける
Quality Attributes
Userbility
Compatibility
Feature/UI
<<Alert>>
Timer
Stopwatch
詳細
塊
テストケース

テストの俯瞰表現
Quality Attriutes
App Compatibility
+ Navigation : Usability
+ Guideline Suitability : Usability
App Userbility
+ Memory Leak : Performance efficiency
+ Long Run Process : Reliability
Long Run
+ Process Multiple App : Compatibility
+ Multiple process in an App : Compatibility
Co-Existence
Feature/UI
+ Cooperate with other Apps : Compatibility
~ Unfavorable Stress : Performance efficiency
+ Correctness of analysis : Functional suitability
+ Confirm each function : Functional suitability
<<Alert>>
Bedtime
~ Operation Response : Performance efficiency
~ Number of data : Performance efficiency
<<Resister/Edit/Delete Data>>
World Clock
~ Alert in the background : Performance efficiency
<<Alert>>
Alarm
<<pattern>>
Resister/Edit/Delete Data
<<pattern>>
Alert
<<Alert>>
Timer
+ Unfavorable Stress : Performance efficiency
+ Number of data : Performance efficiency
Stopwatch
<全体俯瞰>
<<pattern>>
Resister/Edit/Delete Data
~ Alert in the background : Performance efficiency
<<Alert>>
Alarm
<<pattern>>
Alert
+ Check with Stress() : Unfavorable Stress
+ Check with other Apps() : Alert in the background
+ Confirm Snooze() : Confirm each function
+ Confirm Alerm() : Confirm each function
Notify Alarm
+ Operate from Siri() : Cooperate with other Apps
+ Check max registration data() : Operation Responce
+ Delete Alarm() : Confirm each function
+ Edit Alarm() : Confirm each function
+ Register Alarm() : Confirm each function
Register/Display Alarm
<詳細>

どやっ
これらを駆使すると
テスコンで
優勝できる！！
かもしれない・・・

ステマ
そういえば
テスト設計のチュートリアル
が
来週あるみたいですよ
無料です
注意：関係者ではありません

ご清聴
ありがとうございました。

References
[1] T. DeMarco, Structured Analysis and System Specification, Prentice Hall, 1979.
[2] ISO/IEC 25010:2011, Systems and software engineering − Systems and software Quality
Requirements and Evaluation (SQuaRE)−System and software quality models, 2011.
[3] K.Yoshioka, N.Mizuno, Y.Nishi, “Stepwise Test Design Method”, 6th World Congress
for Software Quality (6WCSQ), London, September 2014
[4] ISTQB FLWG, "Foundation Level Syllabus Version 2011", International Software
Testing Qualifications Board , 2011.
[5] Y.Nishi, "Viewpoint-based Test Architecture Design.", Software Security and Reliability
Companion (SERE-C), 2012 IEEE Sixth International Conference on. IEEE (2012), pp.194-
197.
[6] OMG, “UML Version 2.4.1,” http://www.uml.org/, 2012.
[7] Apple, “iOS10”, http://www.apple.com/ios/ios-10/, 2016
[8] T.Yumoto, T.Matsuodani, and K.Tsuda, ” A Study on the effectiveness of Test-Categories
based test analysis” , International Workshop on Software Test Architecture (InSTA2016),
Chicago, April 2016.

もしかして、テストって誰でもできると思っちゃってませんか？最新のテストの動向を知りたくないですか？

Recommended

Recommended

More Related Content

Similar to もしかして、テストって誰でもできると思っちゃってませんか？最新のテストの動向を知りたくないですか？

Similar to もしかして、テストって誰でもできると思っちゃってませんか？最新のテストの動向を知りたくないですか？ (20)

More from tef-do

More from tef-do (6)