Презентация Дмитрия Химиона на SQA Days-16 14-15 ноября 2014, Санкт-Петербург, Россия www.sqadays.com

1. Инструменты автоматизации
тестирования – дефективные
Дмитрий Химион. Performance Lab

2. Дмитрий Химион
руководитель направления
автоматизации тестирования
Performance Lab
Skype: Picasso-Key
Email: d.khimion@pflb.ru
Докладчик на конференциях:
– SQA Days 13
– ITSM Forum
– SQA Days 14
– SQA Days 15
24 проекта по автоматизации тестирования
+4 проекта - прототипы инструментария АТ

3. План доклада
• «Горе от ума» - flash back SQA Days 14
• Из чего состоят инструменты
• Аспекты и критерии оценки инструментов
• Разложим инструменты по критериям
• А что нам надо от инструментов?
• «Интеграционный стандарт»
• Итоги
• Вопросы и ответы

4. «Горе от ума» - flash back
SQA Days 14
Единая система
авторизации

5. «Горе от ума» - flash back
SQA Days 14

6. «Горе от ума» - flash back
SQA Days 14

7. «Горе от ума» - flash back
SQA Days 14
Мониторинг
качества
разработки

8. Из чего состоят инструменты?
• Язык разработки тестов
• Удобство разработки
• Инструментарий отладки
IDE
• Интеграция с «внешним миром»
• ОбработчикиAPI
• «Object spy» – захват объектов
• Взаимодействие с технологиями
• Работы с процессами
Platform
• Управление записью
• Автоматическое определение элементов
• Форматирование тестов
Record&Play
• Параметризация
• Управление тестами
• Запуск/прерывание
Test management
• Файловые расширения
• Настройка и дополнение логовLogs/Reports

9. Модули оценки инструментов
IDE API
Platform Record&Play
Test
management
Logs/Reports
TO
Привет!

10. Размерность оценки критериев
Критерий
Оценка
-1 0 1
Рефакторинг
Работает только после
серьёзных доработок
Пользоваться можно, но надо явно доработать
Приемлемое качество работы
Вроде
норм

11. Критерий
Оценка
-2 -1 0 1
Рефакторинг
Критерий
Оценка
-1 0 1
Рефакторинг
Функционал в инструменте существует номинально
А ведь
факт
Размерность оценки критериев

12. Рассмотрим критерии
IDE
Критерий Оценка
Навигация по коду
Рефакторинг кода
Подсветка синтаксиса
Интеграция с Bug tracker/VCS/CI
Кастомизация
Инструментарий отладки
Язык описания теста
-5 из +7
Блокнот!

13. API
Критерий Оценка
DDT/KDT/ODT
Надёжность работы API
Скорость работы API
Расширение API
-1 из +4
Рассмотрим критерии

14. Platform
Критерий Оценка
Взаимодействие с 1 технологией
Взаимодействие с 2-3 технологиями
Взаимодействие с всеми заявленными технологиями
Распознавание элементов интерфейса
Взаимодействие с процессами
-1 из +5
Рассмотрим критерии

15. Platform
Критерий Оценка
Взаимодействие с 1 технологией
Взаимодействие с 2-3 технологиями
Взаимодействие с всеми заявленными технологиями
Распознавание элементов интерфейса
Взаимодействие с процессами
-1 из +5
Рассмотрим критерии

16. Record&Play
Критерий Оценка
Запись теста
Качество записанного кода
Воспроизведение теста
Автоматическое определение элементов
Форматирование записанного теста
-3 из +5
Рассмотрим критерии

17. Test
management
Критерий Оценка
Параметризация тестов
Комбинирование/предицирование тестов
Механизм управления запуском тестов
Прогон тестов по расписанию/триггеру
Механизмы прерывания теста
-2 из +5
Рассмотрим критерии

18. Logs/Reports
Критерий Оценка
Глубина по разделению ошибок
Доступные расширения
Оптимизация объёма лога
Расширение информативности лога
-3 из +4
Рассмотрим критерии

19. Сводка по результатам оценки
IDE
API
Platform
Record&Play
Test management
Logs/Reports
-5
-1
-1
-3
-2
-3

20. Что нам надо от инструментов?
IDE
API
Platform
Record&Play
Test management
Logs/Reports
-5
-1
-1
-3
-2
-3

21. Что нам надо от инструментов?
IDE
API
Platform
Record&Play
Test management
Logs/Reports
-5
-1
-1
-3
-2
-3

22. «Интеграционный стандарт»
• Универсализация «непригодных» модулей инструментов:
– Test development (record&play)
– Test management
– Logs/Reports
– Handlers for API
AT
tool
Test
management
Logs
Reports
Handlers
for API
System Under Test

23. Итоги
• Интеграция инструментов в среды разработки
• Эволюция инструментов автоматизации в составной конструктор
• Составляющие инструментов – отдельные решения
• Развитие механизмов тестирования в сторону генерации тестов
• Ориентация градации ошибок на стандарты типа ISO

24. Вопросы и ответы
• Контакты: Skype: Picasso-Key Email: d.khimion@pflb.ru
?

25. Большое спасибо!
• Контакты: Skype: Picasso-Key Email: d.khimion@pflb.ru
The dark side of automation tools
hides very much job