Do you know what you are testing?

•

0 likes•4,649 views

Presentation from 11th SQADays conference in Kiev (April 2012) and Selenium Camp 2013 (February 2013) about how to measure what functional tests are really testing from requirements, code and UI perspective.

Technology

А вы знаете что
тестируют ваши тесты?
Николай Алименков
http://xpinjection.com
21.04.2012

Немного обо мне
• Java Technical Lead/Scrum Master в компании
Zoral Labs
• 7+ лет в разработке
• 5+ применяю Agile подходы
• Эксперт в Agile инженерных
практиках
• Основатель и тренер в XP Injection
• Организатор и идеолог конференций
Selenium Camp, JEEConf, XP Days Ukraine, IT
Brunch

Для чего нужны тесты?
Браузер

У нас есть Разработчики
требования трудятся над
кодом

Тесты сводят все воедино

Вопрос #1
Какие требования
покрыты тестами?

Определяем требования
Модуль

Функция Сценарий
системы использования

Привязываем к ним тесты

Ссылки на
задачи

Сценарий
использования

Имя тестового
набора

Необязательно писать
все тесты сразу

Еще не
реализован
Ссылка на
задачу

Имя тестового
сценария

Интеграция с системами
управления проектами

• Двухсторонняя
• Обновление статуса
• Применение правил

Основная информация

Статистика и статусы

Общая картина по модулю

Иерархия функций и статус тестов

Отчеты по всем
функциям и сценариям

Покрытие, прогресс и связанность

Детальный отчет по
каждому тесту с шагами

Время, шаги, данные и скриншоты

Какую часть
кода мы
протестировали?

Вопрос #2

Как же измерить покрытие?
Берем код

Загружаем на Автотесты
веб-сервер

Используем
Собираем и браузер
инструментируем

Ручное
тестирование
Сохраняем отчеты

Запускаем функциональные
тесты (часть 1)

продолжение следует…

Запускаем функциональные
тесты (часть 2)

Стартуем и останавливаем
Tomcat (часть 1)

продолжение следует…

Стартуем и останавливаем
Tomcat (часть 2)

Какие части UI
Вопрос #3
покрыты тестами?

Подсветка + Скриншоты

• Обертка над WebElement
• CSS стили
• Все элементы подряд
• Скриншот на “ключевые”
события

Статистика + Тепловая карта

• Шаблон Page Object
• Обертка над WebElement
• Координаты элементов
• Размеры элементов
• Группировка скриншотов

Успешное
тестирование
прозрачно и
предсказуемо

@xpinjection
http://xpinjection.com
mikalai.alimenkou@xpinjection.com

What's hot

Как улучшить тесты на Selenium с помощью "визуального тестирования"?Oksana Avchinnikova

CQRS. Event Sourcing. Особенности тестированияUladzimir Kryvenka

Подводная часть айсберга: что делать, чтобы автотесты не превратились в ТитаникSQALab

“Можно ли перевернуть пирамиду?” – автоматизируем тестирование с меньшим числ...Igor Khrol

Архитектура автоматизированных тестов: представление предметной областиSQALab

Повышаем надёжность тестов через JavaScriptIgor Khrol

Способы организаций больших Java проектов по Автоматизированному тестированиюCOMAQA.BY

It is a TestITCP Community

Непрерывная интеграция и автотесты. Сравнительный анализ инструментовCOMAQA.BY

QA Fest 2016. Денис Яременко. Как облегчить процесс мобильного тестированияQAFest

TDD для интеграции с БД легко и просто!Mikalai Alimenkou

Test Strategy: creation and optimization - QA Fest-2017 (Тестовая стратегия: ...Andrey Ladutko

Jubula – TDD UI QA Automation ToolCOMAQA.BY

Test Automation Wargaming SQA Days 17Igor Khrol

Web driver история одной миграцииIgor Khrol

Qa Automation - отбрасываем лишнее и тестируем сутьIgor Khrol

Внедрение тестирования в ScrumDenis Petelin

Кому следует писать автоматические тесты?Igor Khrol

Новый процесс тестирования на "старом" проектеSQALab

Причины и способы имитации back-end'аOksana Avchinnikova

What's hot (20)

Как улучшить тесты на Selenium с помощью "визуального тестирования"?

CQRS. Event Sourcing. Особенности тестирования

Подводная часть айсберга: что делать, чтобы автотесты не превратились в Титаник

“Можно ли перевернуть пирамиду?” – автоматизируем тестирование с меньшим числ...

Архитектура автоматизированных тестов: представление предметной области

Повышаем надёжность тестов через JavaScript

Способы организаций больших Java проектов по Автоматизированному тестированию

It is a Test

Непрерывная интеграция и автотесты. Сравнительный анализ инструментов

QA Fest 2016. Денис Яременко. Как облегчить процесс мобильного тестирования

TDD для интеграции с БД легко и просто!

Test Strategy: creation and optimization - QA Fest-2017 (Тестовая стратегия: ...

Jubula – TDD UI QA Automation Tool

Test Automation Wargaming SQA Days 17

Web driver история одной миграции

Qa Automation - отбрасываем лишнее и тестируем суть

Внедрение тестирования в Scrum

Кому следует писать автоматические тесты?

Новый процесс тестирования на "старом" проекте

Причины и способы имитации back-end'а

Viewers also liked

Why testing take so longMikalai Alimenkou

How to make your functional tests really quickMikalai Alimenkou

How QA engineers could affect quality?Mikalai Alimenkou

5 top pain points of test automationMikalai Alimenkou

TDD in functional testing with WebDriverMikalai Alimenkou

Continuous DeliveryMikalai Alimenkou

Sonar qualitydotNETUserGroupDnipro

О качестве, требованиях, сервисах и немного об ITSMSQALab

Роль тестирования в сертификации ПО систем с высокими требованиями к надежнос...SQALab

DSL, Page Object and WebDriver – the path to reliable functional tests.pptxMikalai Alimenkou

Feature Injection: работаем с требованиямиSQALab

Путь к трассировке требований: от идеи к инструментуSQALab

XPMikalai Alimenkou

Формирование требований из хотелок заказчикаSQALab

AgileCamp'11 Новосибирск - введение в инженерные практикиAnton Katkov

Scrum and XP in practiceVladimir Doroshenko

Future4kist 1.4Roman Hasko

Agile Testing ProcessReturn on Intelligence

AgileCamp'12 Нижний Новгород: Введение Anton Katkov

Agile Or Pmbok 11 Jun09RHDrown

Viewers also liked (20)

Why testing take so long

How to make your functional tests really quick

How QA engineers could affect quality?

5 top pain points of test automation

TDD in functional testing with WebDriver

Continuous Delivery

Sonar quality

О качестве, требованиях, сервисах и немного об ITSM

Роль тестирования в сертификации ПО систем с высокими требованиями к надежнос...

DSL, Page Object and WebDriver – the path to reliable functional tests.pptx

Feature Injection: работаем с требованиями

Путь к трассировке требований: от идеи к инструменту

Формирование требований из хотелок заказчика

AgileCamp'11 Новосибирск - введение в инженерные практики

Scrum and XP in practice

Future4kist 1.4

Agile Testing Process

AgileCamp'12 Нижний Новгород: Введение

Agile Or Pmbok 11 Jun09

Similar to Do you know what you are testing?

Как построить свой фреймворк для автотестов?Dmitry Buzdin

лившиц владимир - независимое тестирование мифMagneta AI

Слои тестового фрамеворка. Что? Где? Когда?COMAQA.BY

Test plan Толстова ОльгаSmart-on-line

Внедрение тестирования в ScrumDenis Petelin

Организация тестового набора при автоматизированном функциональном тестированииSQALab

АНТОН СЕРПУТЬКО «Start performance testing from scratch» QADay 2019GoQA

Стратегия тестирования крупного проекта в условиях Agile разработки v2Magneta AI

Testing RIA with SeleniumSergey Shvets

QAFest. Роль тестирования в DevopsАнастасия Асеева

Simonova sql server-enginetestingComputer Science Club

Расширяемая платформа для создания и управления автоматизированными тестами н...jazzteam

5 колчинская qasib

Solit 2013, Эволюция тестирования на Selenium, Мычко Алексейsolit

Наталья Чуфырина, Mail.Ru Group, «Как создать команду по автоматизации тестир...Mail.ru Group

Solit 2014, Централизованное управление тестами с помощью TestLink, Зубович В...solit

TestLinkISsoft

Вадим Зубович - Test LinkQA Club Minsk

Mva stf module 5 - rusMaxim Shaptala

Автоматизация тестирования многопоточностиSQALab

Similar to Do you know what you are testing? (20)

Как построить свой фреймворк для автотестов?

лившиц владимир - независимое тестирование миф

Слои тестового фрамеворка. Что? Где? Когда?

Test plan Толстова Ольга

Внедрение тестирования в Scrum

Организация тестового набора при автоматизированном функциональном тестировании

АНТОН СЕРПУТЬКО «Start performance testing from scratch» QADay 2019

Стратегия тестирования крупного проекта в условиях Agile разработки v2

Testing RIA with Selenium

QAFest. Роль тестирования в Devops

Simonova sql server-enginetesting

Расширяемая платформа для создания и управления автоматизированными тестами н...

5 колчинская

Solit 2013, Эволюция тестирования на Selenium, Мычко Алексей

Наталья Чуфырина, Mail.Ru Group, «Как создать команду по автоматизации тестир...

Solit 2014, Централизованное управление тестами с помощью TestLink, Зубович В...

TestLink

Вадим Зубович - Test Link

Mva stf module 5 - rus

Автоматизация тестирования многопоточности

More from Mikalai Alimenkou

Rise and fall of Story Points. Capacity based planning from the trenches.Mikalai Alimenkou

Static analysis tools as the best friend of QAMikalai Alimenkou

Modern CI/CD in the microservices world with KubernetesMikalai Alimenkou

Saga about distributed business transactions in microservices worldMikalai Alimenkou

Effectiveness tips from Kubernetes trenches by Captain ObviousMikalai Alimenkou

Ride the database in JUnit tests with Database RiderMikalai Alimenkou

Wastful waste or why everything is so slow in developmentMikalai Alimenkou

Hexagonal architecture with Spring BootMikalai Alimenkou

Wastful waste or why everything is so slow in developmentMikalai Alimenkou

DevOps checklist or how to understand where is your team in DevOps landscape ...Mikalai Alimenkou

DevOps checklist or how to understand where is your team in DevOps landscapeMikalai Alimenkou

Практические трудности в разработке Медкарты для целой страныMikalai Alimenkou

Hexagonal architecture with Spring Boot [EPAM Java online conference]Mikalai Alimenkou

Bro, manage test data like a pro! [QA Fest 2018]Mikalai Alimenkou

Agile antipatterns: review after 10 years of practiceMikalai Alimenkou

Hexagonal architecture with Spring BootMikalai Alimenkou

Bro, manage test data like a pro!Mikalai Alimenkou

Бытовая классификация тестировщиков с точки зрения разработчикаMikalai Alimenkou

Code Review tool for personal effectiveness and waste analysisMikalai Alimenkou

Funny stories and anti-patterns from DevOps landscapeMikalai Alimenkou

More from Mikalai Alimenkou (20)

Rise and fall of Story Points. Capacity based planning from the trenches.

Static analysis tools as the best friend of QA

Modern CI/CD in the microservices world with Kubernetes

Saga about distributed business transactions in microservices world

Effectiveness tips from Kubernetes trenches by Captain Obvious

Ride the database in JUnit tests with Database Rider

Wastful waste or why everything is so slow in development

Hexagonal architecture with Spring Boot

Wastful waste or why everything is so slow in development

DevOps checklist or how to understand where is your team in DevOps landscape ...

DevOps checklist or how to understand where is your team in DevOps landscape

Практические трудности в разработке Медкарты для целой страны

Hexagonal architecture with Spring Boot [EPAM Java online conference]

Bro, manage test data like a pro! [QA Fest 2018]

Agile antipatterns: review after 10 years of practice

Hexagonal architecture with Spring Boot

Bro, manage test data like a pro!

Бытовая классификация тестировщиков с точки зрения разработчика

Code Review tool for personal effectiveness and waste analysis

Funny stories and anti-patterns from DevOps landscape

Do you know what you are testing?

1. А вы знаете что тестируют ваши тесты? Николай Алименков http://xpinjection.com 21.04.2012

2. Немного обо мне • Java Technical Lead/Scrum Master в компании Zoral Labs • 7+ лет в разработке • 5+ применяю Agile подходы • Эксперт в Agile инженерных практиках • Основатель и тренер в XP Injection • Организатор и идеолог конференций Selenium Camp, JEEConf, XP Days Ukraine, IT Brunch

3. Для чего нужны тесты? Браузер У нас есть Разработчики требования трудятся над кодом Тесты сводят все воедино

4. Вопрос #1 Какие требования покрыты тестами?

6. Определяем требования Модуль Функция Сценарий системы использования

7. Привязываем к ним тесты Ссылки на задачи Сценарий использования Имя тестового набора

8. Необязательно писать все тесты сразу Еще не реализован Ссылка на задачу Имя тестового сценария

9. Интеграция с системами управления проектами • Двухсторонняя • Обновление статуса • Применение правил

10. Что мы получаем на выходе?

11. Основная информация Статистика и статусы

12. Общая картина по модулю Иерархия функций и статус тестов

13. Отчеты по всем функциям и сценариям Покрытие, прогресс и связанность

14. Детальный отчет по каждому тесту с шагами Время, шаги, данные и скриншоты

15. ВРЕМЯ ПОКАЗАТЬ ФОКУС!

16. Какую часть кода мы протестировали? Вопрос #2

17. Как же измерить покрытие? Берем код Загружаем на Автотесты веб-сервер Используем Собираем и браузер инструментируем Ручное тестирование Сохраняем отчеты

18. Собираем друзей…

19. Запускаем функциональные тесты (часть 1) продолжение следует…

20. Запускаем функциональные тесты (часть 2)

21. Стартуем и останавливаем Tomcat (часть 1) продолжение следует…

22. Стартуем и останавливаем Tomcat (часть 2)

23. Подключаем JaCoCo

24. Открываем отчеты в Sonar

25. ВРЕМЯ ПОКАЗАТЬ ФОКУС!

26. Какие части UI Вопрос #3 покрыты тестами?

27. Selenium IDE + Page Coverage

28. Подсветка + Скриншоты • Обертка над WebElement • CSS стили • Все элементы подряд • Скриншот на “ключевые” события

29. Статистика + Тепловая карта • Шаблон Page Object • Обертка над WebElement • Координаты элементов • Размеры элементов • Группировка скриншотов