Маргарита Титова, UsabılıtyLab конференция I2B-2011, Пермь-Екатеринбург

1. Проведение юзабилити-
тестирования

2. U-тестирования как отдельный
вид исследования

3. Что такое юзабилити-
тестирование?
Ваше мнение?
3

4. Юзабилити-тестирование
Экспериментальный метод, построенный на интервьюировании
пользователей по заранее составленному сценарию и направленный на
выяснение того, как пользователи используют продукт.
4

5. Юзабилити тестирование
• Процесс получения опыта
использования сайта,
программы или продукта
конечными или
потенциальными
пользователями
• Оценка, основанная на
выполнении задач
• Процесс, сопровождающий
разработку
• Ключевой компонент
методологии HCD
5

6. Какие цели могут быть у тестирования?
• Проверка, подходит ли
дизайн
• Диагностика проблем
• Сравнение альтернатив
• Верификация дизайна на
соответствие целям
6

7. Что тестировать?
• Навигация
• Содержание
• Представление
• Взаимодействие
7

8. Виды тестирования
Результирующие (summative)
Формирующие (formative) тесты тесты
• Проводятся в процессе • Проводятся в конце
разработки разработки
• Используется для • Используются для валидации
определения достигаются ли того, что продукт достигает
определенные цели дизайна поставленных целей
8

9. Два подхода к тестированию
Качественный (маленькие Количественный (большие
выборки) выборки)
• Обеспечивает много • Фокусируется на количественных
возможностей для наблюдения оценках
• Основывается на знаниях и • Результаты могут быть обобщены
суждениях на большую популяцию
• Специалист наблюдает, • Необходимы большие выборки
интерпретирует, принимает
решения
9

10. Дизайн—Тест—Дизайн—Тест…
• Тестирование с 5
пользователями выявляется
85% проблем
• Решите проблемы
• Снова протестируйте и
найдите другие 85% проблем
(от оставшихся)
• Решите проблемы
• В третий раз с 5
пользователями найдите 85%
проблем (от оставшихся)
10

11. Методы тестирования
• Remote Testing
• Co-discovery Learning
• Coaching Method
• Performance Measurement
• Question-asking Protocol
• Retrospective Testing
• Shadowing Method
• Teaching Method
• Thinking Aloud Protocol
11

12. Определитель (1/3)
Есть пользователи для
проведения тестирования ?
Доступны ли пользователи
НЕТ ДА непосредственно ?
Heuristic Evaluation ДА НЕТ
Оцениваем производительность ,
а не впечатления ? Remote Testing
НЕТ ДА
Performance
Measurement
Могут ли пользователи говорить
(комментировать свою работу )?
12

13. Определитель (2/3)
Могут ли пользователи говорить
(комментировать свою работу )?
Thinking Aloud
НЕТ
Protocol
ДА
Может ли другой пользователь
комментировать работу Question -asking
пользователя , выполняющего
тестовые задания ?
Protocol
Shadowing
НЕТ ДА
Method
Retrospective
Testing Является ли тестер экспертом в
предметной области ?
13

14. Определитель (3/3)
Является ли тестер экспертом в
предметной области ?
Co -discovery
Learning НЕТ ДА
Coaching
Method
Teaching
Method
14

15. Планирование
U-тестирования

16. Сценарии тестирования
• Ситуация, основанная на
какой-то истории
• Участники выполняют задание
• Используется терминология
пользователей
• Однозначность
• Обеспечивают необходимые
детали выполнения задания
• Не содержат шагов
выполнения задания
16

17. Структура сценария
• Установление личного
контакта
• Тренировочное задание
(опционально)
• Задание тестирования
• Завершение тестирования
17

18. Задания и сценарии тестирования
• Задания
– Короткие и точные
– Полезны, когда не требуется
понимание контекста
• Сценарии
– Обеспечивают мотивацию и
контекст
– Воспроизводят сценку или
историю
– Повышают понимание
– Делают ситуацию
реалистичнее
– Включают в себя задания
18
18

19. Знакомство
• Добрый день, меня зовут …, я • Я буду сидеть в другой комнате. Это
сотрудник …. В нашей лаборатории нужно для того, чтобы тестирование
мы проводим тестирование новых было объективным. Если я буду
программных продуктов с участием сидеть рядом с Вами – могу стеснять
пользователей. Наши заказчики Вас и отвлекать.
хотят, чтобы их продукты
максимально точно соответствовали
потребностям целевой аудитории.
• Это комната, где Вы будете
находиться во время тестирования.
Это Ваш компьютер. Пожалуйста,
сядьте за стол, я бы хотел убедиться,
что Вам комфортно.
• Вы можете видеть несколько камер в
этой комнате. Они нужны для того,
чтобы я мог видеть выражение
Вашего лица.
19

20. Соглашение
• Для того, чтобы Вы были
уверены в том, что записи
тестирования с Вашим
участием будут использованы
только для внутренних целей,
предлагаю Вам подписать
соглашение о неразглашении.
• Мы гарантируем, что записи,
Ваше имя и данные не будут
опубликованы в Интернете и
печатных изданиях.
• Вы обязуетесь в течение 3
месяцев не раскрывать детали
работы тестируемого продукта.
20

21. Тренировочное задание
• Работа с тестируемым
продуктом довольно
необычна.
• Для того, чтобы Вам было
легче, мы подготовили
тренировочное задание.
• Оно поможет Вам
сориентироваться в
принципах работы продукта.
Выполнение задания займет
не больше 2—3 минут.
21

22. Задание тестирования
• Инструкция.
• Вопрос об ожиданиях
пользователя.
• Вопрос о том, что хочет
сделать пользователь.
• Выбор из желаний
пользователя того, что
соответствует заданию.
• Вопрос о совпадении
ожиданий пользователя с
тем, что происходило во
время выполнения задания.
22

23. Завершение тестирования
• Спасибо, что поучаствовали в нашем • Нас интересует ваша первая
исследовании! реакция, поэтому я попрошу вас не
думать над каждым вопросом
• Сейчас я попрошу вас заполнить слишком много. Если вы не знаете,
анкету. как ответить на вопрос или ваше
мнение нейтрально, поставьте
галочку в средней клетке (под
• В ней содержится ряд утверждений номером 3).
о работе с данным продуктом.
Справа от каждого утверждения
находится пятибалльная шкала • Пожалуйста, отвечайте честно.
оценок от «Абсолютно не согласен» Напоминаю Вам, что я не являюсь
(это единица) до «Абсолютно разработчиком продукта, и вы не
согласен» (это пять). Пожалуйста, обидите меня своими оценками.
поставьте галочку в клетке, которая
соответствует вашему мнению.
23

24. Метрики тестирования
• На основе ISO 9241-11
– Эффективность
– Продуктивность
– Удовлетворенность
24

25. Пример Системной юзабилити-шкалы (SUS)
1. Думаю, я буду пользоваться данным продуктом,
Абсолютно не согласен Абсолютно согласен
когда он станет доступен
2. Я считаю данный продукт неоправданно сложным 1 2 3 4 5
3. Я считаю, что работать с данным продуктом было 1 2 3 4 5
легко
4. Думаю, мне понадобится помощь технического 1 2 3 4 5
специалиста для работы с продуктом
5. Я считаю, что продукт обладает многими полезными
1 2 3 4 5
функциями
6. Я обнаружил много противоречивых мест в продукте 1 2 3 4 5
7. Полагаю, большинство людей легко освоят этот 1 2 3 4 5
продукт
8. Я считаю этот продукт слишком сложным и 1 2 3 4 5
обременительным
9. Используя данный продукт, я чувствовал себя
1 2 3 4 5
уверенным в том, что мои действия будут
успешными
10. Я должен был изучить много нового, чтобы начать 1 2 3 4 5
работать с данным продуктом
1 2 3 4 5
25

26. Рекрутинг респондентов и
составление скрининговой
анкеты

27. Участники тестирования
• Респондент (участник
тестирования)
– Реальный или потенциальный
пользователь
– Не является проектировщиком
или разработчиком продукта
• Фасилитатор (модератор)
– Организует весь процесс от
планирования, проведения до
отчетности
• Наблюдатель
– Записывает события по мере
их возникновения
– Не общается с респондентом
– Участвует в анализе и
подготовке отчета
27

28. Убывание предельной полезности выборки
• Дизайн содержит конечное
количество дефектов
• Каждый пользователь будет
сталкиваться с одними и теми
же проблемами
• Каждый пользователь будет
обнаруживать всѐ меньше
новых дефектов
• Но на каждого пользователя
мы тратим одни и те же
ресурсы
28

29. Выбор участников
• Текущие и новые
пользователи
• Знание предметной области
• Компьютерные навыки
• Другие факторы:
– Язык
– Образование
– Пол
– География
– Культурные особенности
29

30. Проведение
U-тестирования

31. Схема лаборатории
наблюдатели фасилитаторы камера 2
испытуемый
зеркало Гизела
камера 1
31

32. Юзабилити лаборатории в Европе
• Этап «Юзабилити University Leuven,
Belgium
тестирование»
CURE
Vienna, Austria
LUTIN,
Paris, France
ICT&S Center,
University of Salzburg
32

33. Юзабилити Лаборатория в Индии
• Этап «Юзабилити
тестирование»
Cordys R&D,
India
33

34. 1С: юзабилити-лаборатория

35. Mobio Lab в Билайне

36. USABILITYLAB в Москве

37. USABILITYLAB в деталях
http://picasaweb.google.com/usabilitylab.ru/bIbzvF

38. Как это было раньше?
1. Штатив для камеры
2. Сумка для аппаратуры
3. Видеомагнитофон
4. ДУ для видеомагнитофона
…
7. Видеокамера
8. Наушники
…
10. ДУ для камеры
…
15. Соединительные шнуры
…
17. Микрофон
…
22. Инструкции
38

39. Тестирование платежных терминалов

40. Пример мобильности

41. Тестирование мобильных

42. Обработка результатов
U-тестирования: обработка метрик,
обработка

43. Структура отчета
• Введение
• Описание проекта
• План эксперимента:
– Проверяемые гипотезы
– Наем участников
тестирования
– Процедура тестирования
– Сценарий тестирования
– Опросник SUS
• Результаты тестирования:
– Описание испытуемых
– Проверка гипотез
– Результаты опросника SUS
• Рекомендации и обсуждение
43