Доклад Павла Стрункина на конференции SQA Days-20. 24-26 ноября 2016. Минск www.sqadays.com

1. Когда стоит закончить
автоматизировать?

2. Об авторе:
- Automation QA в SoftServe
- 5 лет опыта
- организатор QA Dnepr community
Skype: pashidlos
Email: pashidlos@gmail.com

3. • Проблемы
• Декомпозиция проекта
• Синхронизация автоматизированного и ручного тестирования
• Расчеты (часы/$)
• Заключение
• Вопросы
План

4. • Раздельная работа QA
• Отсутствует стратегия
автоматизации
• Приоритеты не определены
• Сроки не согласованы
Проблемы

5. • Провели декомпозицю
проекта
• Определили критичность с
точки зрения системы
• Определили лучшие части для
автоматизации
Что мы сделали:

6. Декомпозиция

7. Критичность функционала
• Critical
• Major
• Normal

8. Лучший функционал для
автоматизации
• Как быстро можно написать тест?
• Сколько времени уходит на ручной прогон?
• Код будет использован повторно?
• Тест будет стабилен?

9. Комбинируем...
Система Автоматизация
Critical P1 P1
P2
Major P2 P1
P2
P1 P3
Normal P2 P3
P3 P1
P2
P3
АвтоматизацияСистема

10. Чек-лист

11. Оценка времени для тестов
• P1: 12ч
• P2: 27ч
• P3: 6ч
ИТОГО: 45ч

12. Оценка времени для ручной
проверки
• P1: 2ч
• P2: 1.5ч
• P3: 0.5ч
ИТОГО: 4ч

13. Реальные затраты при ручной проверке
В среднем два прогона
тестов за релиз:
ИТОГО: 8ч

14. Расчеты в часах
Итого P1 P2 P3
Автоматизация (ч) 45 12 27 6
Ручная проверка (ч) 8 4 3 1
Реальные цифры по регрессии (в среднем два прогона за релиз)
Количество релизов 6 3 9 6
Окупаемость автоматизации

15. Расчеты в деньгах
QA рейт: 10$/ч
• P1: 2ч = 20$
• P2: 1.5ч = 15$
• P3: 0.5ч = 5$
ИТОГО: 4ч= 40$
Automation QA рейт: 15$/ч
• P1: 12ч = 180$
• P2: 27ч = 405$
• P3: 6ч = 90$
TOTAL: 45ч = 675$

16. Расчеты в деньгах
Итого P1 P2 P3
Автоматизация ($) 675 180 405 90
Ручная проверка ($) 80 40 30 10
Окупаемость автоматизации
Реальные цифры по регрессии (в среднем два прогона за релиз)
Количество релизов 9 5 14 9

17. График окупаемости
А как же поддержка тестов?

18. Поддержка
+10 - 20 % каждый релиз

19. Расчеты с учетом затрат на поддержку
Тесты Стоимость ($) 10% ($) 20% ($)
Total 675 67.5 135
P1 180 18 36
P2 405 40.5 90
P3 90 9 18

20. График окупаемости с учетом поддержки

21. Расчет автоматизации Р1 тестов
Итого P1 P2 P3
Автоматизация ($) 675 180 405 90
Ручная проверка ($) 80 40 30 10
Реальные цифры по регрессии (в среднем два прогона за релиз)
Количество релизов 9 5 14 9
Окупаемость автоматизации

22. Расчет автоматизации Р1 тестов с учетом поддержки
Тесты Стоимость ($) 10% ($) 20% ($)
Total 675 67.5 135
P1 180 18 36
P2 405 40.5 90
P3 90 9 18

23. График окупаемости Р1 тестов с учетом поддержки
P2+P3 нужно проверить вручную!

24. Добавляем Р2+Р3 тесты
Итого P1 P2 P3
Автоматизация ($) 675 180 405 90
Ручная проверка ($) 80 40 30 10
Реальные цифры по регрессии (в среднем два прогона за релиз)
Количество релизов 9 5 14 9
Окупаемость автоматизации

25. График окупаемости

26. Пример из жизни
Покрытие
Затраты на
автоматизацию (ч) Тесты (ч) Поддержка (ч)
Ручное
тестирование (ч) Затраты на релиз (ч)
0% 0 0 96 96
33% 552 526 26 48 74
66% 1104 1051 52 16 68
99% 1,656 1577 79 4 83

27. График окупаемости (ч)

28. Расчет окупаемости ($)
Покрытие
Затраты на
автоматизацию ($) Тесты ($) Поддержка ($)
Ручное
тестирование ($) Затраты на релиз ($)
0% 0 0 960 960
33% 8280 7890 390 480 870
66% 16560 15765 780 160 940
99% 24840 23655 1185 40 1225
QA рейт: 10$/ч Automation QA рейт: 15$/ч

29. График окупаемости ($)

30. • Автоматизировать сложные для ручной проверки тесты
• Уменьшать время на поддержку тестов
• Следить за изменением затрат на регрессию
Как ускорить окупаемость автоматизации?

31. • Текущие затраты на регрессию (ТЗР)
▪ Ручное тестирование (ч/$)
▪ Поддержка автоматизированных тестов (ч/$)
• Ожидаемые затраты на регрессию (ОЗР)
▪ Ручное тестирование (ч/$)
▪ Поддержка автоматизированных тестов (ч/$)
Что отслеживать:

32. ТЗР > ОЗР
ТЗР = ОЗР
ТЗР < ОЗР
Summary
Ручное тестирование
Автоматизация

33. http://qacommunity.com.ua/
https://vk.com/qadnepr
Skype: pashidlos
Email: pashidlos@gmail.com