Доклад Станислава Буткеева на SQA Days-15. 18-19 апреля, 2014, Москва. www.sqadays.com

1. Большим данным –
быстрые тесты
Станислав Буткеев

2. О себе
– Ведущий тестировщик в 2ГИС
– За плечами 4 года
– Внутренние продукты
WWW.2GIS.RU

3. Мы знаем, что вы делали прошлым летом
– куда кликали,
– что искали,
– что смотрели

5. 2gis.ru

6. Big
Data
СтатистикаOnline
Mobile
Desktop

7. «Big Data – большой объём
информации, её разнообразие и
необходимость очень быстрой
обработки данных»

8. Состав хранилища данных
Статистика
Справочники
WWW.2GIS.RU

9. 20Гбежедневно
+
4Тб

10. Скачивания
баз оболочек
10 000

11. Москва
Скачивания
баз оболочек
1000

12. Москва
Март 2014
Скачивания
баз оболочек
600

13. Москва
Март 2014
Один запуск
Скачивания
баз оболочек
200

14. Как тестировать?

15. Хранилище
данных
Внутр.
продукты
Базы
сырой
стат-ки
Внешние
продукты
Отчёты
OLAP
кубы
WWW.2GIS.RU
парсеры
SSIS

16. 14.02
Дата
Кол-во
WWW.2GIS.RU
Посещение рубрик
?

17. 14.02
Дата
Кол-во
WWW.2GIS.RU
Посещение рубрик
Цветы

21. Какие есть проблемы?

22. Проблемы
– Данных очень много, 4Тб
– Сложные взаимосвязи между справочниками
и статистикой пользователей
– Длительное время для сборки кубов

23. Долгое тестирование
Целых 2 дня

24. Автоматизация
–Исключить человеческий фактор
–Проверка связей между справочниками
и фактами
–Корректность данных в кубах

25. 1. Автотесты

26. Автотесты на кубы

27. 2 дня
1 день
Результат №1
WWW.2GIS.RU

28. 2 дня
Прогон тестов - 4ч
Результат №1
WWW.2GIS.RU
Подготовка базы – 20ч

29. 2. Нужно уметь создавать
срез хранилища

30. Подготовка тестовой среды
1. Резвёртывание тестовых БД (MSSQL, OLAP)
2. Копирование таблиц
3. Обработка кубов
10WWW.2GIS.RU

31. ToolStick
WWW.2GIS.RU

33. WWW.2GIS.RU
Один конфиг на сборку куба

34. WWW.2GIS.RU
Несколько конфигов на каждый куб

35. WWW.2GIS.RU
Общий конфиг для всех кубов

36. Результат №2
WWW.2GIS.RU
1 день
1 час

37. БОНУС
Автоматизация пакетов
интеграции

38. Другие возможности
1. Запуск SQL, PostgreSQL-скриптов
2. Создание связанных серверов
3. Запуск cmd-файлов
4. Работа с rabbit-очередями
WWW.2GIS.RU

39. WWW.2GIS.RU
Несколько конфигов на каждый пакет

40. WWW.2GIS.RU
Общий конфиг для всех пакетов

41. WWW.2GIS.RU
Автотесты на пакеты

42. ИТОГО
WWW.2GIS.RU
+
ToolStick Автотесты

43. 3. Сontinuous Integration

44. ToolStick + MSTest = TeamCity

47. Результаты выполнения теста
WWW.2GIS.RU

48. Результат №3
WWW.2GIS.RU
1 час
0 мин

49. WWW.2GIS.RU
Покрытие
42%

50. Заключение
Big Data тоже можно тестировать быстро:
– Использование фреймворков (ToolStick)
– Автотесты
– CI
WWW.2GIS.RU

51. WWW.2GIS.RU
https://github.com/2gis/ToolStick

52. Вопросы?
Станислав Буткеев
s.butkeev@2gis.ru