Доклад Андрея Ладутько на конференции SQA Days-19, 20-21 мая 2016 г., Санкт-Петербург

1. Software Quality Assurance Days
19 Международная конференция
по вопросам качества ПО
sqadays.com
Санкт-Петербург. 20–21 мая 2016
Ладутько Андрей
EPAM Systems, Минск, Беларусь
Самостоятельная оценка процессов
тестирования на проекте – с чего начать?

2. АНДРЕЙ ЛАДУТЬКО
Тест-лид, Эксперт ЦКТ
8+ лет опыта
Процессы, аудиты, тест-дизайн, личная
эффективность
SQA Days-12,13,15,16,17,19 - докладчик
SQA Days-18,19 – куратор ПК
ISTQB Full Advanced Level
ladutko_andrey@tut.by, andrey_ladutko@epam.com
ladutko_andrey
sof_minsk
http://qastugama.blogspot.comp://qastugama.blo
gspot.com

3. 3CONFIDENTIAL
ШАГ 0. ПРИНЯТИЕ
В ЛЮБОЙ КОДЕ ВСЕГДА МОЖНО НАЙТИ ОШИБКИ.
ЛЮБУЮ ТЕСТОВУЮ СТРАТЕГИЮ МОЖНО ЕЩЕ ЧУТЬ-ЧУТЬ УЛУЧШИТЬ

4. 4CONFIDENTIAL
ШАГ 1. ОПРЕДЕЛЕНИЕ

5. 5CONFIDENTIAL
ШАГ 1. ОПРЕДЕЛЕНИЕ
•Цель тестирования
•Вопросы, на которые хотим получить ответ

6. 6CONFIDENTIAL
ЦЕЛИ ТЕСТИРОВАНИЯ
Time
Costs
Quality
Visibility
Automation

7. 7CONFIDENTIAL
1 2 3
ПОЧЕМУ МЕТРИКИ
Четкий Измеряемый Реалистичный

8. 8CONFIDENTIAL
ОТВЕЧАЕМ НА ВОПРОС:
КАКОЕ КАЧЕСТВО ТЕСТИРОВАНИЯ?
• % ошибок, пропущенных в релиз (Defect
Containment )
• % отклоненных дефектов (Decline Rate)
• Число дефектов по типам и приоритетам (Total
number of issues by types of testing VS priority)
• Дэшборд (Testing Dashboard)
• Количество открытых дефектов (Open Defects)
• % рабочего времени по категориям (Total
working time by categories)

9. 9CONFIDENTIAL
ОТВЕЧАЕМ НА ВОПРОС:
УСПЕВАЕМ ЛИ МЫ ПРОТЕСТИРОВАТЬ ВОВРЕМЯ?
• Дэшборд (Testing dashboard)
• Диаграмма выгорания (Burn Down Chart)
• Число рабочих дней VS запланированное время на
тестирование (Test team work Days remaining vs testing effort
remaining)
• Закрытые VS все дефекты (Total vs Closed)
• Изменение количества дефектов по статусу (Defect
progression by status and quality)
• Количество дефектов на верификацию (# of defects to be
verified)

10. 10CONFIDENTIAL
ШАГ 2. ИЗМЕРЕНИЕ И АНАЛИЗ

11. 11CONFIDENTIAL
ПРИМЕР ИЗМЕРЕНИЯ. DEFECT CONTAINMENT
• Показывает % дефектов найденных до
релиза VS общее количество дефектов
• Считается после определенного периода
после релиза
• Невалидные баги не учитываются
𝑫𝒆𝒇𝒆𝒄𝒕 𝑪𝒐𝒏𝒕𝒂𝒊𝒏𝒎𝒆𝒏𝒕 =
𝒂𝒍𝒍 𝒅𝒆𝒇𝒆𝒄𝒕𝒔 − 𝒑𝒓𝒐𝒅𝒖𝒄𝒕𝒊𝒐𝒏 𝒅𝒆𝒇𝒆𝒄𝒕𝒔
𝒂𝒍𝒍 𝒅𝒆𝒇𝒆𝒄𝒕𝒔
∗ 𝟏𝟎𝟎%
Целевое значение – 95%
NOTES

12. 12CONFIDENTIAL
ПРИМЕР АНАЛИЗА ПРОПУЩЕННЫХ ДЕФЕКТОВ
• Конфигурации и окружения
• Вид тестирования (функциональный –
нефункциональный)
• Сценарий или ad-hoc
• Компонента или модуль системы
• Причина пропуска (регрессия, неясное требование,
недостаток времени, апгрейд версии)

13. 13CONFIDENTIAL
ШАГ 3. ДЕЙСТВИЕ

14. 14CONFIDENTIAL
ШАГ 4. КОРРЕКЦИЯ

15. 15CONFIDENTIAL
САМОСТОЯТЕЛЬНЫЙ АУДИТ – ИТОГОВАЯ СХЕМА
Определение
Коррекция
Измерени
еианализ
Действие
 Цель тестирования
 Вопросы
 Метрики и KPI
 Сравниваем метрики до
и после внедрения
 Улучшение – продолжаем
 Застой или ухудшение –
ищем другие способы
 Метрики и KPI
 Шаги по улучшению
 Just do it!

16. 16CONFIDENTIAL
ladutko_andrey@tut.by, andrey_ladutko@epam.com
ladutko_andrey
sof_minsk
http://qastugama.blogspot.com
СПАСИБО!