Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Usability testing methods overview (SQA Days’13)

940 views

Published on

#sqadays 2013

  • Login to see the comments

Usability testing methods overview (SQA Days’13)

  1. 1. Обзор методов юзабилити-тестирования
  2. 2. Что такое юзабилити?Определение и смысл терминаСтандарт ISO 9241-11, определение юзабилитиСтепень, с которой продукт может быть использован определённымипользователями при определённом контексте использования для достиженияопределённых целей с должной эффективностью, продуктивностью иудовлетворённостью.
  3. 3. Юзабилити-тестированиеОпределение и смысл терминаОпределение юзабилити-тестированияИсследование, выполняемое с целью определения, удобен ли искусственныйобъект (такой как веб-страница, пользовательский интерфейс или устройство) дляего предполагаемого применения, основанное на привлечении пользователей вкачестве тестировщиков и суммировании полученных от них выводов.
  4. 4. Юзабилити-тестированиеЗачем это? Доказательные результаты Предварительная проверка на пользователях От профдеформации и замыленности взгляда
  5. 5. Юзабилити-тестированиеЧто и как можно проверить? Проходимость пользовательских сценариев Задание: выполнить целевое действие Востребованность и впечатления от системы Сравнение с конкурентами Опрос: что понравилось и будет липользоваться? Понятность навигации Задание: найти нужный предмет/функцию вменю/каталоге Полноту и доступность контента Задание: найти и объяснить информацию Восприятие дизайна Тепловые карты и карты саккад Опрос: какие впечатления
  6. 6. МетрикиЧто можно померять?1. Показатели выполнения заданий2. Проблемы, с которыми столкнулись пользователи (частотность,повторяемость, критичность)3. Время на выполнение задания4. Удовлетворенность выполнением задания5. Удовлетворенность системой в целом6. Эмоциональное восприятие системы или ее частей7. Ошибки, которые пользователь допустил8. Ожидания пользователя9. Глубина просмотра страниц10. Достижение целей на конверсионном пути
  7. 7. Методы юзабилити-тестирования «Коридорное» юзабилити-тестирование Модерируемое удаленноетестирование Немодерируемое удаленноетестирование Экспертная оценка А/В тестирование
  8. 8. Коридорное тестированиеЧто это?Тестирование проводится 1 на 1, лично.Название коридорное пошло от начальной идеи ловить 5-6 случайных человек,проходящих мимо по коридору.Респондент выполняет задания, которые дает ему модератор, на компьютере илиином устройстве.Часто используется специальное ПО и оборудование для записи сессий.Вариации: тестирование в оборудованной лаборатории (лабораторное тестирование) выездные сессии вовлеченное наблюдение за пользователем на его рабочем месте
  9. 9. Коридорное тестированиеОборудованная лабораториямодераторреспондентсценарийзеркалоай-трекервеб-камерызеркалоКомната респондента Комната модератора
  10. 10. Коридорное тестированиеАй-трекинг
  11. 11. Коридорное тестированиеАй-трекинг
  12. 12. Коридорное тестированиеПлан проведения1. Определить цели и составить задания и список вопросов2. Определить параметры целевой аудитории3. Отобрать респондентов (3-4 для каждой целевой группы)4. Подготовить технику для записи сессий5. Провести сессии и записать их6. Суммировать и проанализировать результаты
  13. 13. Коридорное тестированиеПлюсы и минусы+ Любые качественные метрики+ Запись всего происходящего+ Контроль качества выборкиреспондентов- Сложности с отборомреспондентов- Ограничения выборкереспондентов- Эффект Готорна (Hawthorneeffect)- ДорогоПлюсы Минусы
  14. 14. Удаленное модерируемоетестированиеЧто это?Тестирование проводится 1 на 1, удаленно.Респондент и модератор общаются удаленно (по телефону, скайпу и т.п.),респондент выполняет задания со своего компьютера, подключившись ксовместному (расшаренному) рабочему столу.
  15. 15. Удаленное модерируемоетестированиеКак это?
  16. 16. План проведения1. Определить цели и составить задания и список вопросов2. Определить параметры целевой аудитории3. Отобрать респондентов (3-4 для каждой целевой группы)4. Настроить ПО и технику для записи сессий5. Объяснить респонденту, как подключаться к совместному рабочемустолу.6. Провести сессии и записать их7. Суммировать и проанализировать результатыУдаленное модерируемоетестирование
  17. 17. Удаленное модерируемоетестированиеПлюсы и минусы+ Хорошая географическаявыборка+ Запись происходящегона экране и голоса+ Контроль качества выборкиреспондентов+ Достаточно качественныхметрик- Технические сложности (в т.ч.ограничения на самихреспондентов)- Ограничения выборкереспондентов- Нет наблюдения зареспондентомПлюсы Минусы
  18. 18. Удаленное немодерируемоетестированиеЧто это?Респонденты выполняют тесты, созданные в одной изспециальных систем, самостоятельно.Задания для тестирования формируются в одной из систем для проведенияудаленного тестирования. Ссылка на тест рассылается респондентам.Респонденты самостоятельно проходят тест.Возможности систем: любые вопросы (как в анкете) выполнение заданий на сайтеФиксируемые метрики: выполнение заданий (при настроенных условиях) пути пользователя по сайту время на выполнение ответы на вопросы тепловые карты движения мыши по сайту
  19. 19. Удаленное немодерируемоетестированиеКак это?
  20. 20. Удаленное немодерируемоетестированиеКак это?
  21. 21. Удаленное немодерируемоетестированиеКак это?
  22. 22. Удаленное немодерируемоетестированиеКак это?
  23. 23. Удаленное немодерируемоетестированиеКак это?
  24. 24. Удаленное немодерируемоетестированиеКак это?
  25. 25. Удаленное немодерируемоетестированиеИнструменты+ Loop’11 https://www.loop11.com+ Usabilla https://usabilla.com/+ UserZoom: http://www.userzoom.com/+ Webnographer: http://www.webnographer.com/+ еще много: http://remoteresear.ch/tools/
  26. 26. План проведения1. Определить цели и составить задания и вопросы2. Определить параметры целевой аудитории и способраспространения теста по целевой аудитории3. Сформировать тест4. Распространить ссылку на тест5. Подождать, пока накопится достаточное количество ответов6. Суммировать и проанализировать результатыУдаленное немодерируемоетестирование
  27. 27. Удаленное немодерируемоетестированиеПлюсы и минусы+ Хорошая географическаявыборка респондентов+ Статистические данные+ Проще пригласитьреспондентов+ Дешево- Не слишком качественнаявыборка респондентов- Мало качественных метрик- Ограничения на сценарийтестирования (короткиезадания)- Нет возможности наблюденияПлюсы Минусы
  28. 28. Составляем сценарийСоветы 5-6 заданий Не больше 1,5 часов для 1-to-1 сессий Не больше 15 минут для немодерируемого тестирования Задание вводит пользователя в ситуацию Ситуация должна быть реальной для пользователя Лучше избегать сослагательного наклонения («представьте, что...») Не подводите пользователя к ответу («нажмите на кнопку») Используйте целевые действия, а не действия в системе («купите товар»вместо «положите в корзину») Если важно время выполнения, то вопросы – после задания Расслабить респондента – важно Объясняйте, что тестируете не его умственные способности, а систему Чай-кофе-печеньки
  29. 29. МетрикиSystem Usability ScaleСовершенноне согласен1. Я бы хотел часто пользоваться этим сайтом2. Этот сайт кажется мне необоснованносложным.3. Я думаю, этим сайтом просто пользоваться.4. Мне нужна техническая помощь, чтобыпользоваться этим сайтом.5. Функции сайта хорошо интегрированы друг сдругом.6. На сайте слишком много несоответствий7. Я думаю, большинство пользователей быстронаучится работать с сайтом.8. Сайт громоздкий и неудобный.9. Я чувствовал себя уверенно на сайте.10. Мне пришлось изучить много вещей, чтобысмочь воспользоваться сайтом.Совершенносогласен
  30. 30. Экспертная оценкаЧто это?Эксперт (или несколько) проводят аудит системы.Один или несколько экспертов по заданным сценариям или метрикамоценивают удобство системы, фиксируют найденные проблемы и (опционально)дают свои рекомендации.Варианты проведения: один или несколько экспертов оценка по эвристикам и/или по сценариям наличие или отсутствие рекомендаций
  31. 31. А/В тестированиеЧто это?Автоматизированная проверка двух или более версий одногоконтента на одинаковых аудиториях.Несколько версий контента (страницы, изображения, письма) с незначительнымиразличиями показываются большим группам пользователей. По результатамстатистической выборки измеряются показатели каждой версии (конверсия вцелевое действие/время, затраченное на просмотр или поиск информации ит.п.).Что влияет на успех теста: понятные различия (можно точно сказать, что повлияло на поведениепользователей) наличие большой репрезентативной выборки респондентов (лучшебольше 1000 для каждой версии) однородность выборок для каждой версии
  32. 32. Общее сравнение методовЛабораторноетестированиеМодер.удаленноеНемодер.удаленноеЭкспертнаяоценкаA/BтестированиеГеографияреспондентов + ++ +++ -- +++Простота отбора + + ++ -- +++Качествовыборки +++ +++ ++ -- +Качественныерезультаты +++ ++ + +++ +Количественныерезультаты ++ ++ +++ + +++Стоимость + + ++ +++ +++Собираемыеметрики +++ ++ + + +Возможностисценария +++ +++ ++ +++ +Проверкапрототипов +++ +++ ++ +++ +
  33. 33. Спасибо! Вопросы?Татьяна Табакова@hat_full_of_skyfb: tatiana.tabakovat.tabakova@usabilitylab.ruusabilitylab.ru info@usabilitylab.ru +7 (812) 309 45 15

×