Abоut usability testing shortly in Russian (2008)ю

1. Юзабилити-тестирование
Ярослав Перевалов

2. 2
Что такое юзабилити-тестирование?
Юзабилити-экспертиза
Юзабилити-тестированием является любой эксперимент, направленный на
измерение качества интерфейса или же поиск конкретных проблем в нем.
Ю-тестирование позволяет:
• Понять, насколько плохо или хорошо работает интерфейс, что может либо побудить
улучшить его, либо, если он уже достаточно хорош, остановиться в процессе
улучшения.
• Сравнить качество старого и нового интерфейсов и тем самым дать обоснование
изменениям или внедрению.
• Найти и опознать проблематичные фрагменты интерфейса, а при достаточном
объеме выборки также и оценить их частотность.
Юзабилити-тестирование само по себе не создаёт хорошего продукта, это лишь
один из вспомогательных методов проектирования UI.
Корректно поставленный эксперимент и правильно проинтерпретированные
данные помогают улучшить интерфейс.

3. 3
Роль и место юзабилити-тестирования в
процессе проектирования
Юзабилити-экспертиза
Как правило, ю-тестирование применяется на этапе анализа и, повторно, на этапе тестирования.
На этапе синтеза может применяться экспресс-ю-тестирование

4. 4
Сравнение методов ю-экспертизы и
ю-тестирования
Юзабилити-экспертиза
Метод Плюсы Минусы
Юзабилити-
экспертиза
Дёшево, быстро.
Описание конкретных
проблем и чёткие инструкции
по их устранению.
Качественная оценка
юзабилити-характеристик.
Субъективная оценка
(следует проводить экспертизу с
несколькими экспертами)
Нужен эксперт
(если нет экспертов, следует
пользоваться методами
структурной оценки)
Юзабилити-
тестирование
Объективная оценка.
Определение
количественных критериев
юзабилити-характеристик.
Дорого, долго.
Нужна готовая система или
тестовый прототип.
Нужен доступ к пользователям.
Только фиксирование наличия
проблем, без чётких рекомендаций
по их разрешению.
Нужна профессиональная команда
по ю-тестированию.

5. 5
Юзабилити-метрики (1)
Юзабилити-экспертиза
•Скорость работы пользователя:
– длительность выполнения операции;
– время, затраченное на обнаружение ошибок;
– время, затраченное на исправление ошибок;
– количество команд, исполняемых при выполнении операции (подразумевается,
что чем больше команд, тем дольше их отдавать);
– длительность поиска сведений в документации;
– количество команд, более эффективных, чем использованные пользователем;
– снижение производительности при длительной работе.
•Ошибки:
– процент операций, вызвавших ошибку;
– среднее число ошибок на операцию у опытных пользователей (именно у опытных,
т.к. у неопытных могут действовать и факторы из группы скорости обучения);
– количество ошибок, не обнаруженных и не исправленных пользователями.

6. 6
Юзабилити-метрики (2)
Юзабилити-экспертиза
•Обучаемость навыкам работы с системой:
– количество и частота обращений к справочной системе;
– длительность периода между началом использования системы и точкой, в которой
скорость работы/количество ошибок пользователей перестает расти; разница в
количестве ошибок/скорости работы у пользователей с опытом использования системы и
без такого опыта.
•Субъективная удовлетворенность пользователя:
– анкетирование
– наблюдение за эмоциональными реакциями
•Сохранение навыков работы с системой:
– разница в скорости работы/количестве ошибок у пользователя после часа работы с
системой и у того же пользователя в начале использования системы после длительного
перерыва (тест по времени может занять больше месяца).
•Успешность:
– процент заданий, которые пользователь либо выполняет полностью неправильно, либо
не может выполнить вовсе.

7. 7
Юзабилити-тестирование как процесс
Юзабилити-экспертиза
1. Определение цели тестирования и выбор метода тестирования
2. Описание пользовательских ролей и подбор группы респондентов в соответствии
с ролевыми профилями. Поддержка банка респондентов. Организация системы
вознаграждений для внешних респондентов.
3. Определение пользовательских целей и задач. Разработка соответствующих
тестовых сценариев.
4. Разработка тестового прототипа (или подготовка аналога/версии продукта с
адекватными тестовыми данными), в т.ч. и тестовой пользовательской
документации и/или справочной системы, если использование справки входит в
сценарий
5. Подготовка анкет, списка вопросов, соглашения о конфиденциальности.
6. Организация рабочего места для теста. Настройка метода фиксации материала.
7. Тестирование теста на пригодность к тестированию (пилотное тестирование)
8. Собственно тестирование
9. Анализ и обработка данных, подготовка отчёта и видеопрезентации.
10. Спецификация новых проектных решений и запуск процесса по их реализации.

8. 8
Определение цели ю-тестирования
Юзабилити-экспертиза
Целью тестирования может быть:
•определение объективных критериев качества продукта (количественное
тестирование на этапе анализа)
•обоснованный выбор наилучшего интерфейсного решения (экспресс-
тестирование на этапе быстрого прототипирования)
•проверка качества реализации UI (сравнительное тестирование на этапе α-
тестирования)
•выявление проблемных мест в реализации UI, либо подтверждение факта
отсутствия серьёзных проблем (качественное тестирование на этапе α-
тестирования)

9. 9
Выбор метода тестирования (1)
Юзабилити-экспертиза
1. Пассивное наблюдение за выполнением тестовых заданий.
Респондент выполняет тестовые задания, его действия анализируются (во время теста или
после, по протоколам), что позволяет как найти проблематичные фрагменты, так и замерить
эргономические характеристики интерфейса.
2. Протоколирование мыслей вслух (think aloud).
Соответствует проверке посредством пассивного наблюдения, но респондента при этом просят
также устно комментировать свои действия. Затем комментарии анализируются. Метод
довольно нестабильный, но порой дающий интересные результаты (очень зависит от
разговорчивости респондента). Крупный минус потока сознания – измерения эргономических
характеристик интерфейса весьма сомнительны.
3. Активное вмешательство.
В этом методе юзабилити-специалист не ждет милостей от природы в лице респондента, а
старается взять их сам. После каждого действия респондента экспериментатор выспрашивает
его, почему респондент действует именно так; на каждом экране экспериментатор
спрашивает, как именно респондент понимает назначение и функции этого экрана. Этот метод
ближе к фокусированному интервью, чем к собственно тестированию – например, метод
можно использовать даже без тестовых заданий, лишь бы был интерфейс для обсуждения.
Понятно, что при активном вмешательстве никакие измерения попросту невозможны, но зато
объем получаемых качественных данных наиболее велик.

10. 10
Выбор метода тестирования (2)
Юзабилити-экспертиза
Кроме того, для экспресс-оценки можно пользоваться такими методами (не
относящимися собственно к юзабилити-тестированию), как:
•Структурированное интервью
Совместное обсуждение прототипов (в том числе и бумажных) по заранее
известному плану;
•Оценкка пользователей посредством электронных коммуникаций (например,
скриншоты прототипа вместе с описанием сценария взаимодействия
выставляются на профессиональный форум, посетителей просят высказать своё
мнение и замечания).

11. 11
Респонденты
Юзабилити-экспертиза
Контекст использования (context of use) создаваемого продукта (в т.ч. и ролевые профили
пользователей) должен быть описан ещё на этапе проектного анализа.
Общий пользовательский профиль содержит следующие характеристики:
•Опыт работы с системой (с аналогом/пред. версией)
•Уровень компьютерной грамотности
•Возраст
•Пол
•Эмоциональная открытость
Ролевой профиль специфицирует дополнительные профессиональные навыки
респондентов.
К задаче поддержки процесса ю-тестирования относится:
•Создание, поддержка и обновление базы респондентов,
•Организация системы вознаграждений,
•Планирование расписания тестов.
Количество респондентов в одной серии тестов (40-90 минут на человека, одна роль)
варьируется в зависимости от сложности системы и заданной точности оценок и может
составлять 5-15 человек.

12. 12
Определение целей и задач роли,
разработка тестовых сценариев
Юзабилити-экспертиза
Пользовательские цели и задачи, их реализующие, исследуются,
формализуются и проектируются на этапе анализа.
Юзабилити-тестирование, как правило, должно использовать уже
известные типовые сценарии по выполнению той или иной
пользовательской задачи для оценки юзабилити-характеристик продукта.
Тестовый сценарий – это тестируемый аспект системы. Адекватно
подобранные тестовые сценарии являются важнейшей предпосылкой
качества тестирования.
Тестовый сценарий состоит из:
•пользовательской задачи
•значимых эргономических метрик
•тестовых заданий респондентам (заданий может быть несколько)
•признаков успешности выполнения задачи.

13. 13
Пользовательская задача
Юзабилити-экспертиза
Первым шагом определения сценариев является определение значимых пользовательских
задач.
Пользовательская задача – это задача, которую ставит перед пользователями их деятельность,
и которая имеет самостоятельную ценность для пользователей.
Пользовательская задача выполняется с помощью нескольких операций (пользовательская
операция не имеет самостоятельной ценности). Например, выбор адресата из адресной книги.
•Операция может состоять из нескольких действий (вызвать книгу, найти запись, подтвердить
выбор).
•При выборе задач для тестирования следует руководствоваться двумя соображениями:
•Все задачи должны быть реальными, т.е. выявленными из актуальной деятельности
пользователей: желание сделать задания посложнее, чтобы найти разом много проблем,
несостоятельно – задания должны быть обычными, поскольку нет смысла искать проблемы, с
которыми никто не сталкивается.
•Поскольку протестировать весь интерфейс на всех пользовательских задачах возможно только
в идеале, приходится выбирать только важные задачи. Важными задачами являются, во-
первых, частотные задачи, т.е. которые выполняются всеми пользователями и/или
выполняются часто, во-вторых, все остальные задачи, которые, вероятно, выполняются в
системе плохо и, наконец, задачи, неправильное выполнение которых приводит к крупным
проблемам.

14. 14
Литература / Материалы
Юзабилити-экспертиза
1. Роль и место юзабилити-тестирования в процессе юзабилити-проектирования /
Ярослав Перевалов http://usability.ru/Articles/utest-perevalov.htm
2. Влад Головач, «Юзабилити-тестирование по дешёвке»
http://usethics.ru/blog/lib/testing_by_the_cheap/
3.

15. Спасибо за внимание!
Ярослав Перевалов
Начальник отдела аналитики и дизайна
yaroslav.perevalov@rapidsoft.ru
www.rapidsoft.ru
www.usability.ru
15
Юзабилити-экспертиза