Фокус тест
•Download as PPTX, PDF•
0 likes•1,954 views
Доклад Свена Сакса на конференции SQA Days-19, 20-21 мая 2016 г., Санкт-Петербург
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (16)
Similar to Фокус тест
Similar to Фокус тест (20)
More from SQALab
More from SQALab (20)
Фокус тест
- 1. Фокус тест Фокус тест – зачем? как? чем?
- 2. LECTURER: SVEN SAKS 15 лет опыта работы в QA. Head QA в “Yellow Pillow“ QA консультант в “Zucker.Studio” E-mail: Sven.Saks.V@gmail.com
- 3. Обратная связь с пользователем • “Анкетирование пользователей” • “FFF тестирование” • “Фокус тестирование” • “ABn Тестирование”
- 4. Цель • Проверить гипотезы на раннем этапе проекта и получить ценный опыт. • Сэкономить денег и не развивать ошибочные направления на ранней стадии. • Протестировать первые сессии, которые наиболее важны для возврата пользователей.
- 5. Определение Фокус тест - это метод получить и зафиксировать реальный пользовательский опыт.
- 6. Общий план • Осознать цель и ключевые вопросы. • Описать целевую аудиторию и требования к фокус-группе. • Написать вопросы к фокус тесту. • Сформировать анкету. • Организовать место и оборудование для фокус теста. • Пригласить игроков соответствующих Фокус-группе. • Провести Фокус тест. • Сохранить первичные результаты фокус теста. • Провести анализ результатов. • Сохранить конечные результаты. • Сформировать задачи на доработку.
- 7. Программно-аппаратное решение. • Комната. • Стол, два стула • Устройство на котором проводить тест. • Два микрофона и микшер. • Две камеры. • Решение для передачи картинки с устройства в регистратор. • Видеозаписывающее устройство (регистратор)
- 8. Аудио тракт • Микрофоны. – Микрофоны граничного поля. – Полукардиоидная. – Чтоб красивенько. ☺ • Микшер. • Провода.
- 9. Видео Тракт • Камеры. • Картинка с устройства. • Видео регистратор
- 10. Подбор респондентов • Возраст • Пол • Род занятий. • Регулярность пользования планшетом/смартфоном. • Играет в игры. • И тд.
- 11. Вопросы к респондентам • Вопросы До – О человеке – О его опыте пользователя – О знакомстве с подобными продуктами • Вопросы После – Понравилось ли – Какие ощущения – Специфические вопросы
- 12. Фокус тест • Комфорт и дружелюбие • Аккуратность и не навязчивость
- 13. Фокус тест • Встретить, проводить в переговорную комнату. Чай, кофе, конфеты. Усадить. • Еще раз поздороваться Представить себя, компанию, и рассказать о тестируемом продукте. • Задать первую партию вопросов. • Начать собственно тест продукта. • Задать финальные вопросы. • Завершить разговор, подарить подарки. • Проводить.
- 14. Сохранить результаты • Дата, название продукта. • Видео Файлы. • Таблица с данными и ответами всех прошеных. • Комментарии и дополнительные вопросы. • Создать задачи на Анализ с указанием Ссылок на видео на табличку с ответами.
- 15. Анализ • Таблица с ответами. • Видео • Обсуждение
- 16. Формирование задач на доработку • Задача в таск трекере. • С описанием что должно быть сделано. • С пометкой это доработка по Фокус тесту.
- 17. Вопросы
Editor's Notes
- Меня зовут Свэн. Я лет 15 занимаюсь проблемами Обеспечения и Контроля качества ПО.
- Работал как представитель заказчика (в G5 entertainment AB, X5 retail) так и на стороне исполнителей (в Raiffeisen Bank, AlfaBank, Unicredit Bank, MTS, Beeline и тд). Имею обширный опыт тестирования, и банковского, и торгового, и ПО Мобильных операторов. На данный момент head of QA в центре компитенций “Yellow Pillow”. И старший QA консультант в Zucker.Studio. “Yellow Pillow” - это центр компетенции о Проектном менеджменте, Продюсировании, QA и локализации для мобильных разработчиков, и не только мобильных, и не только разработчиков. “Zucker.Studio” - это команда профессионалов в маркетинге и рекламе специализирующихся на продвижение высокотехнологичных проектов, mobile и IT.
- В ITIL в разделах просвещенных SLA И SLR удовлетворённость пользователей кратко сформулирована формулой “Удовлетворённость Пользователей = Восприятие - Ожидание”. При этом как измерить то самое Восприятие сказаны достаточно поверхностные слова и даны сомнительные рекомендации про: опросы, анкетирование, обратную связь с пользователями и “Post Implementation Review”. Бездумное выполнение которых приводят нас к тому за что подвергаются критике подход к UAT, если быть точнее не продуманная реализация UAT. Допустим вам необходимо узнать как отреагируют или узнать насколько удобно ваше приложение или игра для пользователей. И по хорошему у вас есть выбор: Анкетирование пользователей, FFF тесты, Фокус тесты, или A\B Тестирование. Анкетирование тупиковый путь так как анкету соглашаются заполнять или фанаты, просто бездельники и те кого заставили, и вы получаете не релевантную выборку, и как следствие то что в статистике называется “Ошибка выживших”. FFF тест метод быстрой проверки для разработки и не в коем случае не метод обоснования верности решений. Фокус тестирование затратно на организацию места тестирования и приглашение достаточного количества пользователей. A\B Тестирование возможно только на уже выпущенных в свет и имеющих реальных пользователей продуктах. Я сегодня хочу рассказать вам про Фокус тесты.
- Есть хороший анекдот: - Тётя Соня, а шо такое Опыт? - Молодой человек, это когда на смену вопросам Что? Где? Почему? приходит таки главный вопрос: «Зачем?» Так вот Цель. Вообще-то конечно нужно разобраться с конечной супер целью и промежуточными целями, так тонко разделёнными и сформулированными в Русском языке словами «Зачем?» и «Ну нафига?!»). Без понимания супер целей не возможно сформулировать промежуточных целей, а соответственно построить верный маршрут. С супер целью для разработчиков пользовательского ПО вроде все понятно, они описаны на слайде. Промежуточные цели вам придётся сформулировать самим, так как только вы знаете что за продукт вы собственно тестируете и что вам интересно, какие ключевые моменты вы хотели бы проверить. Например: Может быть вам интересна реакция на пользовательский интерфейс, может на расположение встроенных платежей, может на понятность истории игры, если это конечно игра, может на гармоничность текстов. Как бы всё это сложно не звучало все на самом деле просто: Как правило первый Фокус тест проекта это некий простой стандартный тест например: Первая пользовательская сессия не должна вызывать отрицательных эмоций, а должна вызывать желание использовать приложение в дальнейшем. А все дальнейшие проверки по сути порождаются “HADI” циклом: Гипотеза-Действие-Данные-Выводы. HADI циклы отдельная тема сейчас останавливаться на ней не буду. Есть еще приятный бонус, после проведения фокус тестов на ранних стадиях разработки и накопив некоторый опыт будет легче провести A\B тестирование . A/B testing онже Split testing. Если надо расскажу позже.
- Интересно что мы играя в игры погружаемся в свою зону комфорта, да и работаем эффективнее когда можем просто погрузиться в работу, когда нам ни кто не мешает и не отвлекает от того что мы делаем. Так что чтоб получить реальный пользовательский опыт, мы должны обеспечить подобные условия, с некоторыми исключениями конечно, то есть комфорт, спокойствие, и встречную доброжелательность. Опять же ни кто нам не гарантирует что опрашиваемый точно соответствует среднестатистическому пользователю. Все мы всё-таки уникальны. И чтобы случайно затесавшийся уникум не испортил нам фокус тест, нам нужна некоторая релевантная выборка. Ну хотя-бы человек пять, аккуратно подобранных, с некоторым количеством общих ключевых черт. Так что такое «Фокус тест»? И Что нужно сделать? Так вот, Фокус тест это метод зафиксировать реальный пользовательский опыт. И мы обязаны обеспечить комфортную доброжелательную атмосферу при его проведении.
- План содержит 11 пунктов, их состав и порядок подчинены идее “Собрать пользовательский опыт конкретной целевой аудитории и формировать из них задачи на доработку”. И давай те поговорим о реализации.
- Комната должна быть просторной, опрятной, уютной и в ней не должно быть никого кроме опрашиваемого и ведущего. Почему это-так? И что делать с заинтересованными личностями. А Потому что респондент должен находиться в зоне комфорта. И купите видео регистратор с WEB интерфейсом и пусть смотрят удалённо если очень хотят.
- Микрофоны бывают: Классические вокально-журналистские микрофоны системы палка с шариком. (например: Shure sm58.) «Студийные» Кардиоидные микрофоны. Чаще всего выглядят как цилиндр. Петличные и головные. Микрофоны граничного поля. http://www.sennheiser.ru/professional/wired-microphones/Installed-Sound/evolution-900/e912s.html И выбор микрофона граничного поля обусловлен его визуальной не навязчивостью и диаграммой слышимости в форме полусферы. Другие микрофоны создают у участника ощущение интервью, что влияет на его поведение. Микшер: Цифровые, аналоговые, Активные – и все это не важно. Вам нужен простой микшер с количеством каналов на один больше чем у вас микрофонов. И Все. Микшеры любимая тема для холиваров среди музыкантов и подкастеров, и не надо туда лесть путь сами катаются на своих волнах добра перестреливаясь лучами ненависти. Когда покупаете микшер: включаете в него наушники и в каждый канал для микрофона включите или микрофон или плеер с музыкой через переходник и покачайте покрутите все ползунки и крутилки, не должно быть шорохов и посторонних звуков. Провода. Ну их, они просто провода. Сами не паяйте, купите готовые. ☺
- Камеры. Камеры должны показать вам стиль управления и действия пользователя, также Его общее состояние, улыбается ли он, кривил ли лицо. Соответственно их должно быть две, с хорошего качества картинкой. Одна на общий план с лицом, руками и зоной декольте. Вторая на руки и устройство. Конечно мы должны знать что в этот момент происходило на экране устройства. И потому нам понадобится метод как передать картинку с устройства в регистратор. Для IOS: AirPlay Mirroring + Apple TV или Digital AV Adapter. У первого решения есть заметная задержка. У второго провод торчит, и пользователю не удобно. Для Android: Chromecast И дальше картинку через HDMI to RCA Converter, или снимать третей камерой с экрана и передавать в регистратор. Три(Четыре) линии видео ряда и звук должны быть синхронны на записи, И для этого вам понадобится четырёх канальный Видео рекордер. Он должен уметь записывать видео в высоком разрешении и на выходе давать файл в распространённом формате для дальнейшей работы с ним. Ключевые моменты это: Разрешение записи, Сжатие видео, звук. В идеале рекордер должен иметь веб интерфейс чтоб желающие могли смотреть фокус тест онлайн. Хотя честно говоря это быстро надоедает.
- Понимание Целевой Аудитории — это основная и наиболее важная вещь для создания пользовательской ценности продукта и как следствие финансовой ценности, то есть дохода. Целевая группа, целевая аудитория — термин, используемый в маркетинге или рекламе для обозначения группы людей, объединённых общими признаками. Под общими признаками могут пониматься любые характеристики, требуемые организаторами (например, работающие замужние женщины от 25 до 35 лет, и владеющие собственным IOs устройством). Главное свойство целевой аудитории — то, что именно эти люди с большей вероятностью купят или будут пользоваться продуктом. Поэтому именно под эту группу лиц необходимо оптимизировать продукт, и именно поэтому представителей этой группы лиц мы приглашаем на фокус тест. При проведении социологических опросов также может быть определена и сформирована целевая группа или аудитория. Собственно фокус тест и является разновидностью социологического опроса.
- У вас были поставлены Цели, у вас есть какие-то гипотезы. Обязательно нужно обсудить удобство пользовательских интерфейсов, обязательно нужно обсудить цветовую гамму и яркость картинки. Конечно нужно узнать где были трудности, в играх затруднения должны быть только там где их запланировали создатели, а в пользовательском софте их не должно быть вовсе. Главное правило любого пользовательского анкетирования “не задавать вопросов о будущем”. Если вы спросите “что бы вы хотели в приложении” они вам навалят, всяких хотелок да так от души что разобрать это будет тяжело, да еще и каждый своими словами. Нужно задавать вопросы только о реально произошедших вещах. Например: Как вам удобство навигации? Легко ли было разобраться? Сразу ли вам стало понятно что нужно нажать большую красную кнопку?
- Тут главное не совершить ошибку которая так и просится: пригласить людей рассадить по рабочим местам своих же сотрудников и выдать каждому опрашиваемому по наблюдателю. Вы только представьте себе это… Посторонний человек попадает в окружение наших рабочих мест, на соседнем столе стоит коллекция анимешных фигурок и как положено полуголых в очень странных позах так еще и с оружием в руках. У кого-то на столе лежит коллекция отработанных артиллерийских выстрелов. У кого-то просто плакаты, не самого информативного содержания. А вы проводите тест и в конце теста спрашиваете: Как вам наш продукт? А человек в откровенном ахрене от происходящего вокруг, просто чёртов цирк и Садомия. Ему все это время было не до продукта. Так что запоминайте, катаем человека на облаках комфорта: Всем заранее сообщаем, что будет фокус тест, в переговорную комнату не входить, в коридорах не орать. На фокус тесте должны присутствовать только опрашиваемый и ведущий и никого более. Заранее должно быть подготовлено, включено и проверено оборудование. Встречает и проводит тест путь самая аккуратная миловидная барышня, лучше из “HR”. У ведущего должен быть с собой например телефон где запущен SKYPE, для быстрого решения проблем, если возникли, или чтоб ему могли передать вопрос к опрашиваемому если у кого-то из WEB наблюдателей он возник.
- Третья задача ведущего это: соблюсти порядок мероприятия сейчас указанный на слайде. Вторая: обеспечить соблюдение общих правил фокус теста такие как: Быть собой, Играть, не боятся комментировать, подсказок ведущего не будет так как запрещены. И Первая главная задача ведущего: Обеспечить комфорт участнику фокус теста.
- Ведущий должен записать все свои комментарии и соображения. Видео Файлы. На видео регистраторе как правило ограничено место, так что файлы от туда нужно забрать. Видео файл с регистратора как правило слишком большой, его нужно пожать и пере конвертировать. Пробовали выложить на YouTube ограничив доступ кругом google+, не покатило. Качество так себе, да и цена ошибки попадание корпоративной тайны в общий доступ. Удобнее хранить видео в локальной сети. Создать таблицу для данных и ответов всех пользователей. Каждое видео нужно отсмотреть и перенести ответы в Таблицу. Комментарии и дополнительные вопросы ведущего туда же в таблицу, только ниже. Все данные фокус теста должны храниться в одном месте. Это необходимо для обеспечения анализа. И конечно они могут понадобится для ретроспективы чтоб найти концы того или иного не оправдавшего себя решения.
- Кода все ответы представлены в таблице, очень легко понять всели опрошенные действительно соответствуют целевой аудитории. Респондент с сильно отличающимися ответами или “пользовательским поведением” должен быть исключен из выборки. Остальные же ответы будет легко анализировать. Конечно одновременно с чтением ответов нужно отсмотреть видео. Так как поведение и мимика очень важны для понимания пользовательского опыта. И конечно же лучше чтоб параллельно это сделали например дизайнер и Продюсер или прожект менеджер.
- Нужно бороться с искушением положить ответы и видео в задачу на доработку со словами переделать. В задаче должно быть решение по которому разработчик ничего не зная про фокус тест мог-бы провести изменения. Конечно если доработка проводится по результатам Фокус теста, A\B теста или ревью кого-то из вышестоящих руководителей то об этом должна быть пометка. Но задача должна быть задачей а не копипастом ответов.
- A/B testing он-же Split testing — метод маркетингового исследования, суть которого заключается в том, что контрольная группа элементов сравнивается с набором тестовых групп, в которых один или несколько показателей были изменены, для того, чтобы выяснить, какие из изменений улучшают целевой показатель. Примером может служить исследование влияния цветовой схемы, расположения и размера элементов интерфейса на конверсию (доходность). Почему игроков минимум пять - При уменьшении выборки нам грозит начать изменения по комментариям случайно прорвавшегося сумасшедшего. При недостаточной строгости выборки нам грозит не попасть в настроения пользователей и как результат маркетинг не сможет привлечь нужных нам готовых купить пользователей. FFF testing - Frands Famaly and Fools. Суть его в том что показать то что ты сделал людям не вовлечённым в проект,неким людям из своего окружений. Впервые был описан ребятами из Близард. Название FFF пришло с фондового рынка, Когда ты только начинаешь когда у тебя нет истории единственный способ привлечь деньги это попросить у семьи, друзей, и случайных дурачков которых вам удалось убедить. Также и здесь когда ты начал и у тебя еще нет хоть готового продукта т можешь проверить только с помощью родственников и друзей. Системати́ческая оши́бка вы́жившего — разновидность систематической ошибки отбора, когда по одной группе («выжившим») есть много данных, а по другой («погибшим») — практически нет. Так что исследователи пытаются искать общие черты среди «выживших», забывая о том, что не менее важная информация скрывается среди «погибших». Также известна фраза: «Слухи об уме и доброте дельфинов основаны на рассказах уставших пловцов, которых они толкали к берегу, но мы лишены возможности услышать рассказ тех, кого они толкали в другую сторону». Собственно по этому професионалов интересуют не истории успеха, а post-mortem провальных проектов. (https://ru.wikipedia.org/wiki/Систематическая ошибка выжившего) В случае анкетирования мы лишаем себя мнений тех кого наше приложение вообще не зацепило и они ушли. Мы можем вообще не найти представителей целевой аудитории приложения в анкетах. Критика UAT. Пунктов по чему его критикуют очень много. UAT вообще не подходит для продуктов ориентированных на внешнего пользователя. Классический сценарий UAT это: Бизнес процессы и UseCase разобрать по бизнес подразделениям, в бизнес подразделении назначается ответственный который. ответственный проходит эти кейсы и ставит свой “ОК”. Как правило все опытные и ответственные сотрудники бизнес подразделений заняты на срочных и приоритетных задачах и Эта работа достаётся слабому звену. А слабое звено по сути может констатировать только полную не пригодность, а ведь уже проведено функциональное тестирование. То есть UAT это Перекладывание ответственности с руководителя внедрения на бизнес подразделения и Размазывание ответственности по бизнес подразделениям на руководителей или “Крайних” назначенных исполнителей от бизнес подразделений. То есть метод “Жопо-прикарывательства” IT департамента. Опять же Единичный пользователь может не знать тонкостей процессов своего департамента. Появляется возможность политического влияния бизнес департаментов на внедрение. Они могут не принять потому что им не нравится, а не потому что продукт работает хуже, завернув это в правильные слова. А ведь сопротивление изменениям это естественная человеческая черта. Да и жадность тоже может влететь на этот пункт, коррупцию и недобросовестную конкуренцию ни кто не отменял. Продолжать не буду… об этом пишут.