Доклад Алёны Пономаренко на конференции SQA Days-19, 20-21 мая 2016 г., Санкт-Петербург

1. Мобильные приложения:
автоматизируем
автоматизацию
Алёна Пономаренко
Release Engineer в Zillion Whales

2. • В мобильных играх с 2011 года
• Zillion Whales, ex i-Free
• Building & shipping:
a. Взаимодействие со сторами,
соблюдение гайдлайнов
b. Выдача артефактов сторов
c. Помощь со сборкой билдов и с
тестированием
d. Релизы
a.po@zillionwhales.com
Helen Allien Poe в соц сетях

3. Особенности тестирования
мобильных приложений
• Разнообразие магазинов платформ
• Google Play,
• Amazon AppStore,
• Samsung Apps,
• etc
• фрагментация девайсов (даже у iOS)
• нужен целый зоопарк
• и много времени
• автоматизация на мобильных устройствах всё ещё нетривиальна

4. Фермы мобильных устройств
• Физические устройства, не эмуляторы
• Поэтому доступны дополнительные функции
• Сотни устройств
• Варианты OS и прошивки
• Новые регулярно добавляются

6. Залить билд, подождать и получить результаты
• Google Cloud Test Lab
• Amazon App Testing Service
• Testdroid App Crawler

7. Google Cloud Test Lab
• Всё ещё в бета-тесте
• Зато пока доступно бесплатно (нужен аккаунт Google Cloud)
• Запускается на физических девайсах
• Можно подключить прямо к Android Studio
• Помимо автотестов, можно писать свои тесты с помощью Espresso и
Robotium

11. Выводы
• Бета!
• Пока доступен небольшой список девайсов, обещают добавить
больше
• Сохраняется только один скриншот, зато есть видеозапись всего
процесса
• В нашем случае приложение ближе к концу выкинуло ошибку, судя по
видео, но фактически в результатах это не отразилось

12. Amazon App Testing Service
• Бесплатен после регистрации в Amazon Developer Console
• Только Amazon-девайсы (Fire телефоны/планшеты/TV)
• Проверяет в том числе исходный код в поисках:
• несовместимых библиотек
• неподдерживаемых Amazon-девайсами опций
• неправильного использования Amazon API
• В итоге формируется отчёт, в том числе в пригодном для
печати виде

13. Как выглядит результат на хорошем приложении

14. • Эвенты
• Скриншоты
• Логи
• Память
• Процессор

15. Вывод
• Проверяет, полностью ли совместим билд с Amazon API. Если нет,
будут даны конкретные рекомендации по библиотекам и манифесту
• Если билд падает, будут доступны шаги воспроизведения, скриншоты,
логи и точные характеристики девайса
• На скриншотах можно увидеть проблемы UI, если просматривать
вручную

16. Testdroid App Crawler
• Бесплатно доступно небольшое количество девайсов (8 Android + 2 iOS
на данный момент)
• Минимальный план за 50 долларов в месяц даёт доступ ко всем
девайсам и 5 часов их использования
• Доступно тестирование вручную
• Можно подключить Appium или Calabash

20. Выводы
• Бесплатно доступно небольшое количество девайсов
• Нет скриншотов
• Зато удобный просмотр логов
• Не всегда информативные сообщения об ошибках

21. Итоговое сравнение и рекомендации
Google Cloud Test Lab Amazon App Testing Service Testdroid App Crawler
Цена
Девайсы
Полнота
информации об
ошибках
Пока (?) бесплатно
Пока (?) 15
- Пропустил
краш
+ Есть видео
Бесплатно
Все Amazon
- Только Amazon
+ Указывает на
несовпадение
библиотек и API
Есть бесплатный и
платный тарифы
10 на бесплатном и
больше 400 на платном
- Нет скриншотов
+ Удобный
просмотр логов

22. Бонус :)
Samsung Remote Test Lab
• Бесплатно с аккаунтом Samsung Developer
• 20 кредитов каждый день, один кредит = 15 минут одного девайса
• Даёт доступ только к Samsung устройствам
• Ручное тестирование, может быть довольно медленным из-за
соединения

23. Спасибо! Вопросы?
a.po@zillionwhales.com
Helen Allien Poe