Agile Testing Strategy

1. 趨勢科技/ AgileCommunity.tw 組織者
David Ko
開發
建置
測試
上線

2. ?
2008 在大型組織玩敏捷
Agile Tour 台北組織者敏捷社群創始人
谷歌設計衝刺推廣者
敏捷三叔公
David Ko
kojenchieh@gmail.com

3. 進行敏捷測試常見的問題
整體原則
自動化策略
各種測試活動攻略
總結
3

4. 4
在西元 2000 年前 測試 是黑白的

5. 5
被看見的原因是因為 自動化
http://www.extremeprogramming.org/map/code.html

6. = 自動化?
6
其他測試 活動不用做?
效能測試
靜態測試
Beta test
安全測試
設計檢視
程式碼檢視
驗收測試

7. 7
分析 設計 開發 測試
分析
設計 開發
測試 分析
設計 開發
測試 分析
設計 開發
測試
測試已不是 階段, but how?

8. sprint ?
8
分析
設計 開發
測試 分析
設計 開發
測試 分析
設計 開發
測試
效能測試
靜態測試
Beta 測試
安全測試
設計檢視
程式碼檢視
驗收測試

9. ?
9
迭代 1 迭代 2 迭代 3 迭代 4 迭代 5
10
20
30
40
50
60
迭代 6
要處理的
功能數目
測試人員
開發人員
沒有測試自動化 就沒有敏捷

10. 手動 測試 似乎 不需要?
10
手動測試人員 要丟棄嗎?

11. 進行敏捷測試常見的問題
整體原則
自動化策略
各種測試活動攻略
總結
11

12. 整體原則
團隊負責 重
於 QA 負責 持續測試 重於
最後測試
12

13. 整體原則
團隊負責 重
於 QA 負責 持續測試 重於
最後測試
13

14. 14
基礎知識要廣 環境
獨
門
技
術
要
深 測試
一
門
不
夠 溝通
多
多
益
善
多
多
益
善
運帷
自動
化
團
隊
負
責
重
於
Q
A
負
責

15. 15
是要我變成全棧工程師嗎?
不, 重點在於 協作

16. /
16
要會自動化
否則就殺頭
測試人員 開發人員
要會開有用的測試個案
否則就殺頭
80/20 法則, 讓機率大於 0
團
隊
負
責
重
於
Q
A
負
責

17. 17
資深測試人員
80%: 手動, 20%: 自動
擅長做測試
資淺測試/開發人員
80%: 自動, 20%: 手動
擅長寫程式
團
隊
負
責
重
於
Q
A
負
責
顧時程
Outcome > output

18. 整體原則
團隊負責 重
於 QA 負責 持續測試 重於
最後測試
18

19. 在前期提供資訊幫助團隊成功
19
不當守門員, 要守也守不住
持
續
測
試
重
於
最
後
測
試
善用靜態測試

20. 持
續
測
試
重
於
最
後
測
試
靜態
分析
建構 安裝 冒煙
測試
Build
1021
Build
1022
Build
1023
Build
1024
安東繩 = CI 管道 + 紅色警戒 + 紀律

21. 21
持
續
測
試
重
於
最
後
測
試
1 個測試個案, 要執行 5 分鐘
1 個 bug, 修復和重測要 10 分鐘
100 個測試個案: 5 x 100 = 500 分鐘
找到 20 個 bug: 20 x 10 = 200 分鐘
回歸測試: 5 x 100 = 500 分鐘
找到 5 個 bug: 5 x 10 = 50 分鐘
測試估不准 是 RD 害的
找到 10 個 bug: 10 x 10 = 200 分鐘
回歸測試: 5 x 100 = 500 分鐘
回歸測試: 5 x 100 = 500 分鐘

22. 進行敏捷測試常見的問題
整體原則
自動化策略
各種測試活動攻略
總結
22

23. 自動化策略
23
把測試自動化視為 軟體開發
以 敏捷思維 進行自動化
價值導向 重於 做好做滿

24. 自動化策略
24
把測試自動化視為 軟體開發
以 敏捷思維 進行自動化
價值導向 重於 做好做滿

25. 25
功力強的開發人員
開發雛形版
訂開發規則/架構
功力弱測試/開發人員
照著做
增加測試個案/資料數量
把
測
試
自
動
化
視
為
軟
體
開
發

26. 26
把
測
試
自
動
化
視
為
軟
體
開
發
老闆只知道你有 8 個人
不知道其實只有 2 個能寫自動化

27. 善用現存流行工具
27
把
測
試
自
動
化
視
為
軟
體
開
發
學習資源多, 免費, 市佔率高

28. 自動化策略
28
把測試自動化視為 軟體開發
以 敏捷思維 進行自動化
價值導向 重於 做好做滿

29. 29
以
敏
捷
思
維
進
行
自
動
化

30. ,
30
功能 寫完 就開始測試
瀑布式 寫好就測
時間 時間
Bug數Bug數
以
敏
捷
思
維
進
行
自
動
化

31. 不在多, 在於 準 和 正確
31
以
敏
捷
思
維
進
行
自
動
化

32. 自動化策略
32
把測試自動化視為 軟體開發
以 敏捷思維 進行自動化
價值導向 重於 做好做滿

33. Anti Pattern:
33
手動測試
畫面測試
整合測試
單元
測試
價
值
導
向
重
於
做
好
做
滿

34. :
34
畫面測試
整合測試
單元測試
價
值
導
向
重
於
做
好
做
滿

35. (1)
35
要有不同
顆粒度
越高層次
比例要越少
價
值
導
向
重
於
做
好
做
滿

36. (2)
36
畫面測試
整合測試
單元測試
開發&維護
成本
提高涵蓋度
的代價
價
值
導
向
重
於
做
好
做
滿
高
低

37. 37
畫面測試
整合測試
單元測試
10%
20%
70%
價
值
導
向
重
於
做
好
做
滿

38. –
38
整合測試
單元測試
靜態測試
端到端
https://jobs.zalando.com/tech/blog/economic-perspective-testing/?gh_src=4n3gxh1
價
值
導
向
重
於
做
好
做
滿
測得 越像
用戶行為
你會越有
信心
高
低

39. 進行敏捷測試常見的問題
整體原則
自動化策略
各種測試活動攻略
總結
39

40. 40
單元
測試
端到端
測試
探索
測試
效能
測試
用戶
測試
手動
手動
靜態
測試

41. – Linus’s Law
41
需求討論會議
PM/RD/QA
UI mockup
檢視
架構設計
檢視
測試個案
檢視
解決了需求就成功了一半
足夠多的眼睛，就可讓所有問題浮現

42. •
– /
–
• cover
– 100%
• bug
42

43. 端到端
43
整合 CI/CD/Devops
先廣後深
提高投資報酬率
ü 安裝/移除
ü 昇版/降版
ü 主要功能
ü 細部功能
ü 不同環境
ü 不同系統設定
ü 不同整合產品

44. 在測試過程中, 同時進行, 學習, 設計,
和執行. 但是重點是在學習
~ Cem Kaner
?
44
俗了, 這不是手動測試嗎?

45. 45
換個不俗的
微軟把 STE 全換成 SDET

46. ?
46

47. 47
測試進行方式
檢查 已知 探索 未知
手動 自動
錯誤是出現在 未知處
但程式邏輯 跑的都是 事前已知的地方

48. 48
QA: 做測試 v.s. 維護程式/文件
RD: 寫程式 v.s. 寫文件

49. 49
交互測試
https://github.com/nairuzabulhul/Technical-Terms/wiki/What-is-Unit-Testing-in-Software-Development-%3F
Bug 修復 很難重現

50. 50
效
能
時間
效能需求
概念驗證 客戶
連線
10 K
連線
100 K
連線
漸進 調教 邁向 更高效 能目標

51. 51
成本
回饋
週期
低短
長
高
開發階段晚期早期
展示會議
暴徒展示
內部 beta
自吃狗食
設計衝刺
驗證想法
外部 beta
亡羊補牢

52. (I)
Sprint N-1 Sprint N Sprint N+1
• +
( ) 1
•
•
•
•
•
• I
•
•
•
•
• I
• N ) 1
S
• +
( ) 1
• ) 1
• N ) 1
• N ) 1

53. (II)
…
Hardening Sprint
…
• 1+ 2 •
•
•
• 32 1 2

54. 進行敏捷測試常見的問題
整體原則
自動化策略
各種測試活動攻略
總結
54

55. 55
測試本身就是 變 變 變
需要不斷 快速改變來因應變化
è Testing = Agile

56. 56
所以 敏捷測試的策略
絕對 不是自動化
而是以 自組織形式
小步快跑, 優先處理高價值的項目

57. 57

58. • Agile
–
– AgileCommunity.tw

59. Agile Tour
• Agile Tour
12/712/14
12/28
12/21
http://www.agiletour.org/

60. 如何找到我們
• 粉絲團
– agilecommunity.tw
– 發布聚會活動用
• 社群
– Scrum Community in Taiwan
– 發文和討論用
60

61. Q & A
61