От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
QA как драйвер трансформации
1. Software quality assurance days
19 Международная конференция
по вопросам качества ПО
sqadays.com
Санкт-Петербург. 20–21 мая 2016
Башарин Александр
АО Райффайзенбанк, Москва, Россия
QA как драйвер трансформации
2. Руководитель направления
тестирования фронт офисных
систем и удаленных каналов
продаж
4 продуктовые команды
тестирования
Опыт в тестировании 11 лет
QA как драйвер трансформации
2
О себе
3. QA как драйвер трансформации
3
Для кого и о чем
• Тест менеджеров и руководителей
тестирования
• Рост производства и нехватка
ресурсов определяет путь развития
7. 7QA как драйвер трансформации
Задачи
• Сохранить доверие бизнеса
• Не «утомлять» бизнес постоянным UAT
• Не «загнать» Operations
Мы говорим о QA, но задачу нельзя решить
без Analytic, Developer, Administration (A.D.A.)
8. QA как драйвер трансформации
8
С чего начать
• Выявить потребности роста
• Технический потенциал
• Зрелость команды
9. 9QA как драйвер трансформации
Что делать
• Техническая задача
• Организационная задача
10. QA как драйвер трансформации
10
Потребности роста
• Каждый месяц приходит ~30% задач
от V backlog
• Релизный план 6 месяцев
• Время обработки для 32% задачи, не
соответствует SLA
11. QA как драйвер трансформации
11
Технический потенциал
• Нет автоматизированного
тестирования
• Нет автоматизированной сборки
• Нет автоматизированной установки
12. QA как драйвер трансформации
12
Зрелость команды
• Продуктовой команде год
• Москва в стадии norming, удаленная
команда завершает storming
• Участники продуктовой команды по
разному настроены к изменениям
15. QA как драйвер трансформации
Как было у нас
15
• Поиск существующих решений
• Консультация - везде
• Пилот 3 месяца, измеряемые цели
• Анализ достигнутых целей, ROI
16. QA как драйвер трансформации
16
Цели пилота
• Стабильность тестов
• Реальные показатели
• Выявление проблем
• Накопление статистики
17. QA как драйвер трансформации
17
Измерения
• Время
• Стабильность
• Динамика внедрения
18. QA как драйвер трансформации
Результат
• KDD приводится к подобию BDD
• Тесты писать всем, иначе не успеть
• Понимание целевого процесса АТ
• Целевые метрики
18
19. QA как драйвер трансформации
Выбор решения
Каждый участник должен понимать свою выгоду
от нового решения
19
VS
20. QA как драйвер трансформации
Как было у нас
• «Продажа» идеи автоматизации
• Внедрение процесса
• Получение опыта
• Корректировка профиля сотрудника
20
21. QA как драйвер трансформации
21
Измерения
• Инициатива
• Соотношение времени АТ к ФТ
• Ускорение развития АТ
22. QA как драйвер трансформации
22
А где же DevOps
• Инфраструктура не должна
отставать от разработки
• Кооперация ответственности
• Матричная структура
23. 23QA как драйвер трансформации
23
Тестированию стоит
спешить
• Специфика QA в России
• Отсутствие профильного
образования
• Разработчики уже имеют нужные
навыки и технологии
24. QA как драйвер трансформации
24
Никого не забыли
• Трансформация бизнеса должна
начинаться позже изменений в ИТ
• Бизнес должен быть готов
• Бизнес придется трансформировать
25. QA как драйвер трансформации
В заключение
Тестирование третья буква A.D.T.A.,
так что без аналитики, разработки,
администрирования все
бессмысленно.
Вы можете быть примером!
25
27. QA как драйвер трансформации
Приложение 1 Цели пилота
1. Подтвердить корректность выбранной платформы для автоматизации
2. Определить перечень доработок платформы и трудозатраты для задач
3. Получить реальные трудозатраты на автоматизацию в разрезе тест
4. Определить стабильность автотестов и трудозатраты на их доработку после
сборок
5. Определить реальную применимость АТ для тестирования релиза
6. Определить реальное время выполнения набора АТ и спрогнозировать его рост.
7. Определить целевой процесс АТ по итогам работы и его встраиваемость в
существующие процессы
8. Определить проблемы инфраструктуры используемой для АТ
9. Накопление статистики по работе АТ
10.Рассчитать ROI
27
28. QA как драйвер трансформации
Приложение 2 метрики
1. Время на разработку автоматизированного теста
2. Время на приемку автоматизированного теста
3. Стабильность теста – итераций без ошибок
4. % успешно выполненных тестов в наборе
5. Время выполнения тестового набора
6. Число ошибок найденные автоматизированными тестами
7. Время адаптации тестов под разные контуров
8. Время на адаптацию тестов под новый релиз
9. Процент покрытия автоматизированными тестами целевого регресса
10.Сэкономленное время функционального тестировщика
28
Editor's Notes
Это является некоторым продолжением моей презентации годовалой давности
Дать ссылку на презентацию и в крадце рассказать что там было и почему я даю отсылку к ней.
Доклад будет смесью теоретической части и практических примеров которые мы реализовали и продолжаем реализовывать в одном из наших продуктов.
Кто я
Простой пример если вы видите что в компании идет негативная тенденция, не ждите когда к вам придут и скажут убрать часть сотрудников начинайте выделять те части которые надо будет порезать раньше
Говорим про крупную компанию > 5000 сотрудников
Не ИТ компания, специфика финансы
Большой ДИТ (~300 в развитии систем >700 сотрудников)
Разные поставщики услуг для IT
Сложный ИТ ландшафт
ПО используют внутренние заказчики и клиенты.
3 бизнес направления
высокая связанность компонент системы
~20 человек команда Analytic, Developer, Test, Administration (ADTA)
6 релизов в год
насыщение интеграциями с другими системами
цикл тестирования 1,5 месяца (ФТ(3 итерации), DryRun, UAT, НТ)
~30 ключевых бизнес пользователей на UAT
Учесть, что в целом на текущий момент на uat выделяется 2 недели. То есть на 6 релизов 12 недель или 3 месяца.
на каком уровне зрелости шторминг нормиг перформинг) и готовность команды к изменениям либо ее части http://hr-portal.ru/varticle/stages-team-development-etapy-razvitiya-gruppy-tuckman
Стандартный стек технологий
Автоматизация процессов
Организационной подготовки
Продажа идеи
Изменение процессов под новые реалии
Согласование зон ответственности
Время жизни задачи в беклоге не увеличивается но достаточно высоко для соответствия внутренним требованиям
Эффективность Проектной группы увеличивается и группа начинает развивать идентичность. Члены группы корректируют свое поведение, по мере того как налаживают взаимодействие. Сознательное усилие разрешить проблемы и достигнуть согласованности в группе. Уровни мотивирования повышаются.
Проектная группа может теперь действовать как подразделение. Она выполняет работу беспрепятственно и эффективно без неуместного конфликта или потребности во внешнем контроле. Члены группы имеют ясное представление о том, что от них требуется на уровне задачи. Они теперь обладают компетенцией, автонономией и способностью принимать решения без контроля сверху. Присутствует уверенность в своих способностях. Предлагается взаимная помощь.
Continues integration
Continues delivery
DevOps
n - функциональных инженеров по тестированию
На корректировке пример про мышей едящих кактус
Если решил делать своей ответь зачем.
Подтвердить корректность выбранной платформы для автоматизации
Определить перечень доработок платформы и трудозатраты для задач
Получить реальные трудозатраты на автоматизацию в разрезе тест
Определить стабильность автотестов и трудозатраты на их доработку после сборок
Определить реальную применимость АТ для тестирования релиза
Определить реальное время выполнения набора АТ и спрогнозировать его рост.
Определить целевой процесс АТ по итогам работы и его встраиваемость в существующие процессы
Определить проблемы инфраструктуры используемой для АТ
Накопление статистики по работе АТ
Рассчитать ROI
Время на разработку автоматизированного теста
Время на приемку автоматизированного теста
Стабильность теста – итераций без ошибок
% успешно выполненных тестов в наборе
Время выполнения тестового набора
Число ошибок найденные автоматизированными тестами
Время адаптации тестов под разные контуров
Время на адаптацию тестов под новый релиз
Процент покрытия автоматизированными тестами целевого регресса
Сэкономленное время функционального тестировщика
Вовлеченность против авторитарных решений
Начнем с того что просто и понятно технологий, об этом говорят довольно много и долго и технологический стек ясен
Поговорить о технической достижимости CI, CD понять в какой степени и для каких частей мы можем получить авто
Кто разрабатывает тесты
Время затраченное на разработку
% времени затраченного на АТ к ФТ
% автоматизации по сравнению к тому что был, каждую неделю