EMTEを使って自動化の費用対効果をわかりやすく表現する

EMTEを使って自動化の費用対効果を
わかりやすく表現する
RUEY JYE
芮杰 (ゼイジェ)

© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。2
アジェンダ
• 自己紹介
• EMTEとは
• 自動テストの評価指標
• 実際のプロジェクトでの検証、測定
• EMTEを使うメリット
• まとめ

自己紹介

自己紹介
Ruey Jye
芮杰
(ゼイジェ)
台湾出身のSET (Software Engineer in Test)
呼び方：ゼイさん、Jさん
経歴：
2016 (来日) LIFULL(新卒) 品質管理グループ
2018 LIFULL SETグループ
2020 LIFULL クオリティエンジニアリンググループ
資格
• ISTQB CTFL (Foundation Level)
• ISTQB CTAL-TAE (Advanced Level
Test Automation Engineer)
テストプロバイダ経由し
て、日本のテストセンタ
ーで試験受けました。

EMTEとは

みなさんはEMTEを聞いたことありますか？

EMTEとは
EMTE (Equivalent Manual Test Effort)
テストを手動で実行する工数
参考：ISTQBの用語集
https://glossary.istqb.org/jp/search/EMTE

EMTEとは
例：
テストを手動で実行する工数：120分
そのテストを自動化したときの実行時間：30分

EMTEとは
例：
テストを手動で実行する工数：120分 ➡︎ 1 EMTE
そのテストを自動化したときの実行時間：30分 ➡︎ 0.25 EMTE
EMTEは時間単位と変換ができます！

なぜEMTEに変換するのか？

EMTEの効果
手動実行で消費した時間と相対的にできる
手動実行時間自動実行時間
その他の工数
自動テスト実行 0.25 EMTE
(テスト実施者は手動実行の
1/4だと直感的に判断できる)

自動テストの評価指標

なぜ自動テストを評価するのでしょうか

目的の達成を確認するためです

• External TAS metrics
– Automation benefits (自動化メリット)
– Effort to build automated tests (自動テストの構築工数)
– Effort to analyze automated test incidents (自動テストの結果分析工数)
– Effort to maintain automated tests (自動テストのメンテナンス工数)
– Ratio of failures to defects (同じ欠陥によるケース失敗率)
– Time to execute automated tests (自動テストの実行時間)
– Number of automated test cases (自動テストのケース数)
– Number of pass and fail results (自動テストのケース成功/失敗数)
– Number of false-fail and false-pass results (自動テストの結果誤判定数)
– Code coverage (自動テストのカバレッジ)
• Internal TAS metrics
– Tool scripting metrics (分析ツールの結果メトリクス)
– Automation code defect density (自動テストのコードの欠陥密度)
– Speed and efficiency of TAS components (自動テスト各コンポネートの効率)
参考：ISTQB CTAL-TAEシラバス
https://www.istqb.org/downloads/category/48-advanced-level-test-automation-engineer-documents.html
補足：TASはTest Automation Solutionの略語です

工数系の指標のみ紹介します

• External TAS metrics
– Automation benefits (自動化メリット)
– Effort to build automated tests (自動テストの構築工数)
– Effort to analyze automated test incidents (自動テストの結果分析工数)
– Effort to maintain automated tests (自動テストのメンテナンス工数)
– Ratio of failures to defects (同じ欠陥よるのケース失敗率)
シラバスによるとこれらの指標は
EMTEに変換して表現できることも
記載されています
参考：ISTQB CTAL-TAEシラバス
https://www.istqb.org/downloads/category/48-advanced-level-test-automation-engineer-documents.html

• 自動テストの構築工数
自動テスト環境構築、テストケース設計、テストケース実装などの初期コスト
• 自動テストの結果分析工数
自動テスト実行後の結果確認、不安定なテストの再実行、
デグレーションが発生の確認などの運用コスト
• 自動テストのメンテナンス工数
テストケースの修正やテストデータの整備などの運用コスト

実際のプロジェクトでの検証、測定

検証したプロジェクト概要

検証したプロジェクト概要
Tチームの自動テストを構築しました
対応した内容：
• 自動テスト環境構築
• テストケース設計、実装
• 実際の運用サポート

集計結果

実際の数字 - 実行時間
• 全ケースを手動で行う時間
1時間34分10秒 ➡︎ 5650秒
• 自動テスト実行時間
531秒
※計算しやすくするため、秒単位で表しています

実際の数字 - 評価指標
97時間 ➡︎ 349200秒
30分 ➡︎ 1800秒
30分 ➡︎ 1800秒
※計算しやすくため、秒単位で表しています

EMTEで変換

実際の数字 - 評価指標
349200秒 ➡︎ 61.81EMTE
1800秒 ➡︎ 0.32 EMTE
1800秒 ➡︎ 0.32 EMTE
• 全ケースを手動で行う時間
5650秒 ➡︎ 1 EMTE
• 自動テスト実行時間
531秒 ➡︎ 0.094 EMTE

わかったこと

わかったこと
• 自動テストの実行効率がいい
自動実行 = 0.094 EMTE (手動の10倍ぐらい早い)
• 運用作業を含めても自動テストのコストは高くない
手動実行 > ( 自動実行 + 分析 + メンテナンス )
➡︎ 1 > ( 0.094 + 0.32 + 0.32 ) (手動実行時間内に収まる)

わかったこと
• 構築工数を還元するまでの期間
自動化で節約出来た時間
= 手動実行 - 自動実行
= 1-0.094 = 0.906 EMTE
構築工数を還元するまでの回数 (※仮に毎回の実行で分析、メンテナンスが発生しない場合)
= 構築工数 / 自動化で節約出来た時間
= 61.81 / 0.906 ≒ 68回

EMTEを使うメリット

メリット
時間より、効果がわかりやすい
手動実行時間 1時間34分10秒
自動テスト
実行時間
8分51秒
自動テスト
結果分析工数
30分
自動テスト
メンテナンス工数
30分
自動テスト
構築工数
97時間
手動実行時間 1 EMTE
自動テスト
実行時間
0.094 EMTE
自動テスト
結果分析工数
0.32 EMTE
自動テスト
メンテナンス工数
0.32 EMTE
自動テスト
構築工数
61.81 EMTE

工数と節約の費用対効果

費用対効果（運用コストなし）
初期コスト = 61.81 EMTE (1回のみ)
節約した工数 = 0.906 EMTE/回
68回自動テストを回すことで
初期コストの元が取れる！

費用対効果（運用コスト込）
初期コスト = 61.81 EMTE (1回のみ)
運用コスト = 0.64 EMTE/回
節約した工数 = 0.906 EMTE/回
233回自動テストを回すことで
初期コスト+運用コストの元が取
れる！

補足情報

補足情報
• EMTEはただの単位変換
時間単位のままでも計算出来ます
• EMTEは工数の指標のみ
他の自動テスト指標は別集計が必要
• 節約は必要な自動テストのみ有効になります
1リリースサイクルで1回自動テストを実行するのであれば、
そのサイクルにある自動テストの実行のみ効果があります

まとめ

まとめ
EMTEは手動で消費した時間と相対的に比較できます
EMTEは効果をわかりやすく表現できます
テストの目的と合わせて、必要な指標も測りましょう

ご清聴ありがとうございました

EMTEを使って自動化の費用対効果をわかりやすく表現する

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to EMTEを使って自動化の費用対効果をわかりやすく表現する

Similar to EMTEを使って自動化の費用対効果をわかりやすく表現する (20)

Recently uploaded

Recently uploaded (8)

EMTEを使って自動化の費用対効果をわかりやすく表現する