1. Как делать прототипы в
автоматизации тестирования
Павлов Игорь
2gis.ru @rnd2gis

2. Обо мне
• В 2ГИС 1.5+ год
• Команда автоматизации тестирования
• Работал над инструменами тестирования для
• внешних web-продуктов: Онлайн версии карт,
API карт, API справочника, Личного кабинета рекламодателя
• новой версии 2ГИС для ПК
2

3. Google for 'Прототип'
3

5. Google for 'Прототип автоматизация
тестирования'
5

6. Вопросы
1. Что такое прототип в АТ?
2. Но мне не очень нужно прототипизировать GUI...
3. Каков алгоритм прототипизирования?
4. Какие бывают задачи для прототипизирования в АТ?
6

7. О чем будет
• Прототип в АТ
• Прототипы тестировщика
• Прототипы разработчика в тестировании
• Наш рецепт прототипизирования
7

8. Прототип
Прототип — быстрая, черновая
реализация будущей системы.
wikipedia.org
“
8

9. Цель

10. Скорость
создания

11. не интерактивный интерактивный
По взаимодействию
11

12. Не интерактивный

13. Интерактивный

14. "на выброс" эволюционный
По последующему использованию
14

15. "На выброс"

16. Эволюционный?

17. Эволюционный

18. не интерактивный
разовый
интерактивный
эволюционный
Прототипы в АТ
18

19. Quick Win
FF
Fast Feedback
Fail Fast
19

20. Основная идея
1. Главное – цель и скорость создания
2. Прототип должен быть интерактивным
3. Прототип – ядро будущей системы
4. Прототип – работающая модель
20

21. О чем будет
• Прототип в АТ
• Прототипы тестировщика
• Прототипы разработчика в тестировании
• Наш рецепт прототипизирования
21

22. Для
тестировщика

23. Термины
Тестировщик – человек внутри команды, следящий за качеством
продукта
23

24. Проблемы
1. Нет времени писать тесты
2. Я не умею писать нормальный код
3. Месяц пишим тесты, закончили и они упали
24

25. Задача
Тестировать RESTful API
25

26. "Горизонтальный" прототип тестов
Проблема: как выглядят запросы ко всем методам?
Цель прототипа: тесты на код ответа 200 всех методов
26

27. class AuthRegisterTest(ApiTestCase):
def test_registration(self):
response = self.auth.register.request()
class AuthLoginTest(ApiTestCase):
def test_login(self):
response = self.auth.login.request()
class CatalogTest(ApiTestCase):
def test_search(self):
response = self.catalog.search.request()
01.
02.
03.
04.
05.
06.
07.
08.
09.
10.
11.
27

28. "Вертикальный" прототип тестов
Проблема: как работать данными из БД?
Цель прототипа: пара тестов с максимальным использованием
функционала БД
28

29. class AuthLoginActiveUserTests(ApiTestCase):
def get_user(self):
return self.postgres.auth.insertUser()
@dataprovider(get_user)
def test_correct_password(self, user):
response = self.auth.login.request(self.method, {
'email': user['email'],
'password': user['password']
}, response_type=self.response_type)
self.assertEquals(200, response.content['meta']['code
01.
02.
03.
04.
05.
06.
07.
08.
09.
10.
11.
29

30. Прототипы улучшений качества
Проблема: в команде постоянно не соблюдается codestyle
Цель прототипа: Гит-хуки на линтеры, юнит-тесты и прочее
30

31. Основная идея
1. Проблема → цель
2. Цель можно достигнуть за 2 недели
3. Ключевые инструменты уже в прототипе
4. Нужно понять интерфейсы – горизонтальный прототип
5. Нужно проработать функциональность – вертикальный прототип
31

32. О чем будет
• Прототип в АТ
• Прототипы тестировщика
• Прототипы разработчика в тестировании
• Наш рецепт прототипизирования
32

33. Для
разработчика в
тестировании

34. Термины
Разработчик в тестировании – человек из отдельной команды,
создающий инструменты для тестировщиков
34

35. Проблемы
1. Плохое testability технологий
2. Узко заточенные инструменты для технологий
35

36. Пример
ОС Инструмент Версия присутствия
iOS UIAutomation SDK 4.0+ (iOS 4.0)
Android uiautomator
selendroid
SDK API 16+ (Android 4.1)
SDK API 10+ (Android 2.3.3)
Winphone нет
36

37. Локальные проблемы
1. Множество фреймворков
2. У каждого свой запуск тестов и агрегация результатов
37

38. Задача
Инструменты тестирования в
одном стеке технологий
38

39. Стек технологий тестирования
Платформы: web, desktop, mobile
1. Писать тесты на selenium
2. Запускать тесты одним инструментом
3. Удобно контролировать тестовое окружение
4. Получать результаты в одинаковом виде
39

40. Причины сделать
1. Доставлять всем командам
2. Более качественные инструменты
3. Планомерное развитие инструментов
4. Challenge
40

41. Со стороны бизнеса
1. Доставлять всем командам
2. Более качественные инструменты
3. Планомерное развитие инструментов
4. Challenge
Профит
41

42. Профит
1. Быстрее - перенос части тестов
2. Взаимозаменяемое тестирование - общие знания
3. АТ там, где не было инструментов - меньше людей
42

43. Прототип составной системы
Цель прототипа:
применить инструменты из web
тестирования в desktop
43

44. Стек
44

46. Задачи
1. драйверы для приложений на разных платформах
2. фреймворк для разных платформ
3. тестовое облако с разными платформами
4. runner для запуска тестов и сбора результатов
46

47. Ограничения
1. 2-3 человека
2. полгода
47

48. Как?

49. Как?
1. Прототипируем подсистемы
49

51. Как?
1. Прототипируем подсистемы
2. Знакомые и удобные технологии
51

52. Технологии
52

53. Как?
1. Прототипируем подсистемы
2. Знакомые и удобные технологии
3. Фиксируем интерфейсы
53

54. Стек технологий
54

55. Как?
1. Прототипируем подсистемы
2. Знакомые и удобные технологии
3. Фиксируем интерфейсы
4. По возможности делаем поверх существующих инструментов
55

56. Прототип поверх существующего:
qtwebkitdriver
Цель: получение элементов, клики/драги, работа с клавиатурой
Интерфейс: json wire protocol
56

57. Qtwebkitdriver
57

58. Стек
58

59. Прототип для простоты: vmmaster
Фокус: создание сессий виртуальных машин по требованию
Интерфейс: json wire protocol
59

60. Прототип для простоты: vmmaster
Использовать?
60

61. Стек
61

62. Прототип "с нуля": фреймворк
Цель: разные платформы, упрощение setup, page/component objects
Интерфейс: unittest

63. Стек
63

64. О чем будет
• Прототип в АТ
• Прототипы тестировщика
• Прототипы разработчика в тестировании
• Наш рецепт прототипизирования
64

65. Отвергаем Альфа-версия
Наш рецепт прототипирования
1. Постановка узкой цели
2. Фиксация критерия готовности
3. Фиксация интерфейса прототипа
4. Поиск существующих инструментов, которые можно расширить
5. Разработка: проверка на реализуемость
6. Анализ результатов и качества кода
65

66. О чем будет
• Прототип в АТ
• Прототипы тестировщика
• Прототипы разработчика в тестировании
• Наш рецепт прототипизирования
66

67. Чем объяснять, -
сказал Додо, -
лучше показать!
Льюис Кэрролл, Алиса в Стране Чудес
“
67

68. Что делать?

69. Как делать?

70. Что делать с тем, что сделано?

71. Павлов Игорь
i.pavlov@2gis.ru
@nwlunatic
71