システムテスト自動化カンファレンス Lightning Automated Testing Demo

1. 手動テストからの
移行大作戦
SATSUKI URAYAMA
自己紹介 ▼

2. 自己紹介
うらやま さつき
テスト歴８年半（結合～受入れテスト）
テスト自動化経験７年
• QTP
• Selenium（IDE/RC/WebDriver）
いわゆる協力会社メンバー
♪
所属：STAR、しなてす
出没：WACATE、おいしいものがあるところ
M
テストあるある ▼

3. 飽きた…
今どこやってたっけ？
テストがつまらない。
zzz…
単調な繰り返し
眠い…
M
刺身たんぽぽテストとは？ ▼

4. 刺身にたんぽぽを
載せるようなテスト…？
自動化に
向いてます！
刺身たんぽぽテストがあるゲンバ・環境▼

5. ゲンバ・環境
• 10年選手のwebシステム / 保守開発
• 開発部隊は50人強
• テスト専属部隊なし
• テスト自動化は定着できず失敗経験あり
• テスト自動化には前向き
なぜ定着しなかったの？▼

6. なぜ定着しなかったのか
？
よく止まる
スコープを
誤った
• バグが出そうなやつを自動化した
• 時間などの制約があるものも自動化した
• 身の丈に合った範囲で自動化しよう
•
•
まずは操作が簡単なテストから
まずは同じようなことを繰り返すテストから
なぜ定着しなかったの？▼

7. なぜ定着しなかったのか
可読性が
低かった
作った人にしかわからない
？
• スクリプトを読まないとテスト内容がわからない
• 作った人しかメンテナンスができない
• 誰でもわかる自動化システムを作ろう
•
•
•
今までやってたテストとかけ離れていない
テストケースｎ：テストスクリプト１
保守性・汎用性がぐっとUP
課題を解決して自動化を定着させよう▼

8. 今回の作戦
刺身たんぽぽテストが気軽に実施できる
テスト自動化システムを作る！
！
M
目指すテスト自動化イメージ▼

9. こんな仕組みをつくりたい
刺身たんぽぽ的な
→
テストたち
複雑な
テストたち
↓
わかり
やすい
ログ
テスト
ケース
テスト
ケース
わかり
やすい
ログ
テスト
ケース
テスト自動化システム
テスト
ケース
自動
手動
テスト
ケース
テスト対象
実現可能？▼

10. 手動のテストケース
自動化するために足りていないものは？▼

11. テスト自動化システムの
３要素
DRIVE
― 操作
JUDGE
― 判定
REPORT
― 報告
自動化するために足りていないものは？▼

12. 手動のテストケース
操作内容が
あいまい
入力値が
あいまい
判定方法が
あいまい
「入力値があいまい」を解決する▼

13. 入力値があいまい
を解決する
入力値が
あいまい
• 規定値を入れるデータシートを作成
「入力値があいまい」を解決する▼

14. テストケースの
フォーマット改修
入力値が
あいまい
「操作内容があいまい」を解決する▼

15. 操作内容があいまい
を解決する
操作内容が
あいまい
• １通りの操作をトレースする
•
操作がデータシートに書かれている場合は、
キーワードごとに操作をトレース
• 出力されたスクリプトをテスト自動化シス
テムに組込む
• 入力値、操作等をデータシートから読み込
み、操作する仕組みを組込む
「判定方法があいまい」を解決する▼

16. 判定方法があいまい
を解決する
判定方法が
あいまい
• どんなときに・どこが・どうであればOKな
のか、明確にする
• 判定のタイミングを決める
• 判定内容をテストケースから取得し、比較
するシステムを組み込む
スクリプトの可読性を向上させる▼

17. わかりやすいログ
• 成功か失敗かがすぐわかる
• エラーの原因がつきとめやすい
• 必要なエビデンスを取得できている
できあがったテスト自動化システム▼

18. できあがった
テスト自動化システム
ログ
テスト自動化
システム
データ
シート
操作部
共通部分
・読み込み・書き出し
・ログ記録・定義など
判定部
テスト
ケース
テスト自動化システムの全体像▼

19. できあがったシステム
全体像
データ
シート
テスト
ケース
データ
シート
テスト
ケース
テスト
ケース
ログ
ログ
テスト自動化システム
テスト
ケース
自動
手動
テスト
ケース
テスト対象
デモ▼

20. 実際に動かしてみます
実際の効果は？▼

21. ある機能の
テスト実施時間の比較
60
• ブラウザ経由で自
動実行できる画面
のテスト自動化に
成功
35%
DOWN
50
40
自動
30
手動
実装
20
10
• モバイルサイト、
モバイルアプリ、
スマートフォンア
プリは手動
0
Before
1st
2nd
まとめ▼

22. まとめ
• 身の丈に合った範囲で自動化しよう
•
•
まずは操作が簡単なテストから
まずは同じようなことを繰り返すテストから
• 誰でもわかる自動化システムを作ろう
•
•
•
今までやってたテストとかけ離れていない
テストケースｎ：テストスクリプト１
保守性・汎用性がぐっとUP
• つまらないテストとさよならしよう
•
脱！テストオペレーター
最後に…▼

23. 飽きた…
今どこやってたっけ？
本当にそのテスト、
必要ですか？
zzz…
単調な繰り返し
眠い…

24. 自動化の前にするべきことがないか
いま一度ご確認くださいm(_ _)m
Garbage in. Garbage out.
M

25. Have a nice testing !
ご清聴ありがとうございました
次は玉川さんのデモです▼