Все твои ходы записаны
•Download as PPTX, PDF•
0 likes•1,211 views
Доклад Александра Стельмаха на конференции SQA Days-17, 29-30 мая 2015 г., Минск www.sqadays.com
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (15)
Similar to Все твои ходы записаны
Similar to Все твои ходы записаны (20)
More from SQALab
More from SQALab (20)
Все твои ходы записаны
- 1. Все твои ходы записаны
- 2. Обо мне • EPAM • Lead Software testing engineer • 8 лет в тестировании • Основатель Mobile testing community (Минск) • И т.д. и т.п. Alexander Stelmakh
- 4. Confidential 4 Имя нам легион
- 5. А разница в чем? • Бесплатные и Платные • Для Веб или Нейтив • Мониторинг в реальном времени • Поддержка социальных сетей • AB тестирование • И прочее и прочее
- 6. Почему людей пугает словосочетание «сбор информации»
- 9. Ты тоже знаем где вы находитесь
- 10. Большой брат, Samsung, LG (нужное подчеркнуть) следит за вами
- 15. Ваш взгляд вас выдаст
- 17. страшно?
- 18. Когда сбор аналитики приносит пользу всем?
- 19. : Когда сбор аналитики приносит пользу всем? • Аудитория приложения • Активность пользователей • Частота пользования приложением
- 20. : • Статистика пользования устройствами – парк устройств!!! • Навигация по экранам – сценарии • Сбои приложения – области куда следует обратить внимание • Et cetera, cetera Когда сбор аналитики приносит пользу всем?
- 21. Сбор информации на стороне сервера Dec 3 2012, Confidential
- 22. Сбор аналитики на стороне клиента
- 23. Подходы к тестированию Перехват запросов клиента • Нет доступа к отчетам • Наиболее точная • Может быть в зашифрованном или в агрегированном виде
- 24. Подходы к тестированию Проверка репортов на сервере • Когда нету возможности настройки прокси • Меньше деталей • Агрегированная информация
- 25. Мы запомним любое ваше действие Разделяйте на блоки • Constant (e.g. platform=mobile) • Environment based (e.g. date, user- agent, screen size, country) • App state based (e.g. previous page) • User based (e.g. user level) • Formulas (D=c27) • Events (every event is boolean variable)
- 26. Прокси – радость тестировщика А также Fiddler, Wireshark, Bloodhound
- 27. Не фиддлером единым Dec 3 2012, Confidential
- 28. Репорты, тестируем ли ?
- 29. Основные ошибки Dec 3 2012, Confidential Wrong environment setup
- 30. • Вызовы не успевают отправляется из-за проблем с сетью • Вызовы отправляются дважды или не отправляются вовсе
- 31. • Пропущенные переменные • Переменные определены некорректно • Переменные имеют ошибки правописания и собираются как разные сущности -тся и -ться
- 32. Вопросы?
Editor's Notes
- Внесу некоторую лепту в невротизацию народа Я попробовал совместить две темы в этом докладе . Так тестировать сбор аналитики и пользовательская паранойя сохранности личных данных откуда у нее ноги растут и отчасти небольшой экскурс в истории
- Удачно себя показал в научении других Веду направление мобильного тестирования в Центр тестовой компетенции Эпама.
- Под аналитикой будем понимать сервисы которые позволяют собирать информацию по использованию приложения с мобильных усройств Purposes: Measure web/mobile traffic (e.g. page visits, actions taken on page) Tool for business and market research (e.g. measure results of advertising companies or new app launch, redesign, etc) Measure conversion Segment users and view customer lifecycle Etc. Web/Mobile analytics is the measurement, collection, analysis and reporting of web/mobile data for purposes of understanding and optimizing web/mobile usage.
- Количество команий собирающих статистику очень большое. Что говорить если есть списки на 20 наиболее популярных сервисов аналитики ) Для чего это им надо? В первую очередь что бы использовать данные в своих целях, или продавать это. Free, Open Source, Proprietary Hosted/SAAS Web/Mobile Native tracking support Multiple site monitoring Aggregated or detailed reports Customizable Dashboards Real-time monitoring Social Media Monitoring Campaign Tracking A/B testing File exporting to various formats Traffic Stats/Refferals Report Stats intervals Events Visitors Details Help/Support Server Side: 1. 10 user scenarios creates, each scenario contains 10 actions. Scearios were created according to previous analytics stats. 2. Benchmark tests - usual load level: 1000 visit per hour (10000 requests) - run each Sprint. 3. Rump up tests. Found bottleneck at 5500 visit per hour. After Apache reconfiguration 12500 visit per hour are handled. 4. Tool: HP Load Runner (from customer) End user app performance and network types tests: 1. Sephora was compared to 3 competitors: Amazon Mobile, Zappos Mobile, Gilt on the Go.- end user???? 1.1. 3G poor networks used for testing: In bandwidth 780 In delay 100 Out bandwidth 200 Out delay 100 1.2. Scenarios were approved with business: browsing application, viewing products, searching, checkout actions. 1.3. Areas for improvement were found and pased to development team. 2. Sephora application was tested with 3 network types: Poor 3G network, Average 3G Network, 4G Network. 3. 2 types of tests were performed: with casched content and without cashed content. 4. Tools used:iOS Network Link conditioner 5. Results was provided to developers and business for further analysys. Client side
- Free, Open Source, Proprietary Hosted/SAAS Web/Mobile Native tracking support Multiple site monitoring Aggregated or detailed reports Customizable Dashboards Real-time monitoring Social Media Monitoring Campaign Tracking A/B testing File exporting to various formats Traffic Stats/Refferals Report Stats intervals Events Visitors Details Help/Support
- Что есть мобильный дивайс нынче – это просто кладезь инфы о ползователе , персональные данные и фотки, смс итп Кто может просто так взять и поделится своим дивайсом?
- Причины пользовательской паранойи - темная сторона мобайла НЕЗАНИЕ СИЛА Почему народ не любит делится своими данными ? Как он это может сделать? Да просто , выбрубить кукиз унд гелокейшн Кто, каким образом и для чего собирает данные пользователей. Всегда ли это честно по отношению к пользователю?
- Кто, каким образом и для чего собирает данные пользователей. Всегда ли это честно по отношению к пользователю?
- http://adwords.blogspot.ru/2013/10/estimated-total-conversions.html
- Я уже не говорю про леново с уста
- Приложения скрытые-биткоинмайнеры http://blog.trendmicro.com/trendlabs-security-intelligence/mobile-malware-mines-dogecoins-and-litecoins-for-bitcoin-payout/
- Virus Shield 2014
- Нагнали малость саспенсу
- Тут я побуду немного капитаном очевидность Количество новых и активных пользователей; Количество сессий и их длина; Частота использования приложения; Статистика сбоев; Аудитория приложения (пол, возраст, язык, география использования); Информация о версиях продукта и устройствах; События внутри приложения; Навигация по экранам и т.д.
- Количество новых и активных пользователей; Количество сессий и их длина; Частота использования приложения; Статистика сбоев; Аудитория приложения (пол, возраст, язык, география использования); Информация о версиях продукта и устройствах; События внутри приложения; Навигация по экранам и т.д.
- Количество новых и активных пользователей; Количество сессий и их длина; Частота использования приложения; Статистика сбоев; Аудитория приложения (пол, возраст, язык, география использования); Информация о версиях продукта и устройствах; События внутри приложения; Навигация по экранам и т.д.
- Web server logfile analysis (server side) + не нужно менять что либо в моб приложении + все данные на серверах компании + можно снимать метрики с любого канала ( мобайл, + Logfiles contain information on visits from search engine spiders, which generally do not execute JavaScript on a page + no additional network calls from client that could be blocked or cause slow load speeds - can’t measure actions that do not involve requests to server or requests to 3rd party services - will not work in case web page cashed - additional effort to store logs, make logs readable for logfile analysis tools
- Page tagging/analytics requests to dedicated servers (client side) + Counting is activated by opening the page or performing client side actions without requests to server + Data is gathered via a component ("tag") in the page (JavaScript, Ajax, Java, PHP, native code) – complete control over data representation + can assign cookies to visitors + no need to maintain own servers - not all tools support native mobile - need additional effort to implement/test analytics on all channels
- 1 No access to reports More accurate В зашифрованном виде или в агрегированном виде 2 Агрегированя инфа Нету возмжности настройки прокси Невидно . Логотип конфы
- 1 No access to reports More accurate В зашифрованном виде или в агрегированном виде 2 Агрегированя инфа Нету возмжности настройки прокси Невидно . Логотип конфы
- Надо знать когда отсылается переменная Разделять на блоки: Коснатнты Зависят от енвайромента Variables and events: Constant (e.g. platform=mobile) Environment based (e.g. date, user-agent, screen size, country) App state based (e.g. previous page) User based (e.g. user level) Formulas (D=c27) Events (every event is boolean variable)
- Proxy Servers: 1. Start proxy server: Charles, Fiddler, Bloodhound for SiteCatalyst Omniture. 2. Connect device in the same network to started proxy (need proxy hostname or IP and Proxy port) Отлов запросов через прокси Можно подложить сертификат
- Агрегированые данные, Время на появление - множ
- Переменные могут иметь проблемы с написаниев