SlideShare a Scribd company logo
1 of 70
Download to read offline
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити
исследования в
Билайн»
Автор: Правдин Михаил
По вопросам исследований:
mpravdin@beeline.ru
Дружить:
fb.com/mikhail.pravdin
Зачем мы собрались?
1. Какие методы мы используем
2. Что такое Usability
3. Что нужно для проведения эксперимента
4. Кто такой модератор
5. Этапы юзабилити тестов
6. Какие задачи выносить на тесты
7. Какие данные получаем в итоге
8. Кто такой Ай Трекер
9. Что нового на рынке исследований
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Знание о пользователях
Опыт взаимодействия (англ. User eXperience, UX) — это
ощущения, возникающие у человека при
непосредственном взаимодействии с объектами
окружающего мира. В более узком смысле, опыт
взаимодействия характеризует личное восприятие
человеком функциональных и эмоциональных
характеристик продукта или услуги в процессе
использования
Тестируя уже готовый продукт и
наблюдая за действиями пользователя,
часто сталкиваешься с тем, что многих
проблем можно было бы избежать, если
бы мы привлекли его на стадии
рождения продукта.
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Своих клиентов надо знать
 Чтобы привлечь больше покупателей
 Чтобы суметь их удержать
 Чтобы добиться эффекта «сарафанного радио»
 Чтобы меньше сил тратить на обслуживание
 Чтобы меньше переделывать
 Чтобы знать будущее и готовиться к нему
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
• Помогает выбрать
поставщика
• Заложить
оптимальное
количество функций:
учесть самое важное,
остальное же
отложить
• Понять как реально
действуют наши
клиенты, пользуясь
нашими услугами
• Какие задачи имеют и
как их решают
• Как можно изменить
уже существующий
продукт, чтобы он
лучше отвечал
потребностям
клиентов
• Помочь разработать
план долгосрочного
развития продукта
• Нащупать тренды –
знать будущее и
готовится к нему.
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Методы исследований
U-Test
ПоведениеМнение
Качественные Количественные
Online U-Test
U-Test skype
Card Sort
Tree Test
Field Studies
Interview
Eye Tracking
Focus group
Diary
Surveys
Feedback
A/B (Live) Testing
Web Analytics
Естественные Искусственные Несуществующие
Task Research
Best Practice
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Анализ задач
Стадия PD: инициация
Что нужно : сформированная идея
продукта, его описание
Что получаем от пользователей:
задачи, которые пользователи
хотели бы решать (без
каких-либо ограничений)
Что получаем в результате:
приоритезированные по важности
задачи и список функций,
поддерживающих эти задачи
Программа
лояльности
Накапливать бонусы
и тратить их на свою
связь
Накопить
баллы
Потрати
баллы
Сократить
количество
карт
Иметь
постоянный
и легкий
доступ к
программе
Управлять
баллами
Получить
привилегии
Использовать
карту как БК
 Через SMS и USSD
 Через ЛК
 Через мобильное приложение
 Узнать о количестве накопленных баллов
 Увеличить баллы
через акции и
спец.предложения
 Получить статус
 Участвовать в
спец.мероприятиях
для владельцев карты
 Воспользоваться
программой без
карты
 Использовать карту
в других городах и
странах
 Использовать карту
как БК
 Использовать карту
как депозит или
кредитку
 Объединить все
карты под одной
карточкой
(универсальная карта)
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Сценарное проектирование
(ментальные модели)
Стадия PD: инициация,
новый релиз
Что нужно: люди, имеющие
опыт решения сходных
задач или реальный опыт
использования продукта.
Что получаем от пользователей:
список решаемых задач, тригеры,
последовательность шагов,
проблемы, контекст.
Что получаем в результате: блок-
схему всех действий пользователя
для решения задачи с подробной
информацией по каждому шагу.
Поступление
счета
Выгрузка отчета
по начислениям
Сопоставление
номера с ФИО и
группой
Выгрузка
отчета по
номерам
Несколько личных
кабинетов со
своими логинами-
паролями
Инициаторы:
телеком-менеджер
или топ-менеджер
(при значительном
превышении
бюджета)
В осн. с помощью
eCare. Изучаются
диаграммы и
счета
Некорректно
выгружаются
счета (не
полностью или
выгрузка
прерывается)
Нет
Выгрузка
списка
проблемных
номеров
Да
Получение
отчета о
превышении
лимита
Сопоставление
с внутренними
правилами
разделения
расходов
Проверка
начислений
по типам
услуг
Неудобный
интерфейс для
получения
отчета
Да
C помощью
внутренней
программы
(принимает на
обработку PDF-
файл)
C помощью
внутренней
программы /
Мобильного
бюджета
Нет
Менеджер от
Билайна
eCare
«тормозит»
и/или
медленно
открывается
Отчет
пересылается
в
бухгалтерию
eCare
корректно
работает
только на IE
Проверка
корректности
биллинга
Счет и
детализация в
PDF, невозможно
редактировать и
обрабатывать
Рассылка
детализаций
сотрудникам
- вручную
Для Мобильного
бюджета – очень
много бумажных
договоров
Чтобы скачать
заказанный
отчет, нужно
снова заходить
в eCare
Если сотрудник
укладывается в
мобильный
бюджет,
кредитный лимит
снижается до 0
Для каждого
сотрудника
приходится
открывать его
договор Проверка по
конкретным
операциям
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Анализ мировой практики
Стадия PD: инициация, анализ дизайн
Что нужно: наши и зарубежные аналоги
продукта, решающие схожие задачи
С чем работаем: Систематический обзор
решений в области функционала,
информационной архитектуры, эстетики,
навигационных и композиционных принципов,
применяемых в мировой практике.
Что получаем в результате: Информация
позволяет преодолеть инерцию в проектировании
услуг. Можно сделать предварительное
заключение о технической реализуемости
решений.
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Карточная сортировка
Стадия PD: анализ дизайн
Что нужно: элементы контента
Что получаем от пользователей: элементы
упорядочены по созданным пользователями
разделам, названия разделов
Что получаем в результате: Принципы,
ориентируясь на которые пользователи
организуют контент. Пользовательскую
терминологию. Понимание, какие элементы
требуют дублирования в разных категориях,
какие лишние, какие нужны, но отсутствуют.
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Анализ обращений в ЦПК
Стадия PD: инициация
Что нужно: четкие цели и задачи
исследования, база звонков в ЦПК
Что получаем от пользователей:
Пользовательские задачи, последовательность
шагов для их выполнения, взаимосвязь
сценариев и шагов.
Что получаем в результате: Схемы
демонстрирующие последовательность
операций и взаимосвязь сценариев. Подробные
комментарии к каждому шагу. Проблемы, с
которыми сталкиваются пользователи, решая
свои задачи. Все участники процесса.
Триггер: Я знаю, на что
трачу и хочу тратить
меньше
1. Выбрать способ
экономии
Что выбрано?
2. Уточнить текущие
расценки по
направлению
3. Подобрать тариф по
параметру
4. Уточнить влияние на
другие параметры
5. Выяснить условия
перехода
Устраивает новый
тариф?
6. Определиться с
моментом перехода
Когда я хочу
перейти?
11. Конец интеракции
9. Перейти немедленно
10. Получить команду
для перехода
12. Уточнить текущие
расценки по
направлению
Знаю из предыдущего
сценария контроля
расходов
13. Подобрать
тарифную опцию по
параметру
15. Проверить
доступность и
совместимость опции
Опция доступна?
16. Выяснить условия
перехода
Устраивает новая
опция?
17. Конец интеракции
18. Определиться с
моментом
подключения
23. Отключить VAS,
тарифные опции, CPA
Можно ли отключить
через системы
Билайн?
24.Отключить через
системы Билайн
25. Получить
информацию об
отключении через
системы партнеров
Поменять тариф Отключить платные услуги
Подобрать
тарифную
опцию
Да
Нет
Да Нет
Нет ДаСейчас Потом
Да
Нет, не совместима с
тарифом
Оптимизация
расходов
14. Оценить
выгодность перехода
7. Проверить,
достаточно ли средств
для перехода
8. Пополнить счет
Проинформировать о
способах пополнения
счета онлайн
Когда я хочу
перейти?
21. Подключить
немедленно
22. Получить команду
для подключения
Сейчас Потом
19. Проверить,
достаточно ли средств
для подключения
20. Пополнить счет
Проинформировать о
способах пополнения
счета онлайн
Не совсем
Необходимо проверять
совместимость
автоматически
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Сбор обратной связи
Стадия PD: окончание разработки (пилот), ОКЭ
Что нужно: контакты клиентов-участников пилота,
утвержденный опросник
Что получаем от пользователей: общая оценка
удовлетворенности продуктом, проблемы в процессе
повседневного использования продукта
Что получаем в результате: Проблемы продукта,
рекомендации по их решению, данные по эффективности
(по оценке самого клиента).
50%
13%
10%
7%
7%
3%
3% 2%
2%
2%
1%
Комментарии абонентов
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Web-аналитика
Стадия PD: КЭ
Что нужно: установка счетчика системы веб-
аналитики, четкое понимание целевых действий
и KPI’s сайта
Что получаем от пользователей: аудиторные
показатели (посещения, уникальные посетители,
время пребывания на странице, глубина
просмотра, источник трафика), выполнение целей
(напр., заполнение заявки на подключение),
наступление событий (напр., клик на кнопку call
to action)
Что получаем в результате: отчеты,
содержащие нужные заказчику параметры.
Представление о проблемных областях сайта.
Оценку эффективности внесенных изменений.
Идеи по улучшению ситуации
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
SEO-оптимизация
Стадия PD: анализ дизайн, КЭ
Что нужно: набор целевых запросов,
по которым мы хотим привлечь
пользователей на сайт
Что получаем от пользователей:
Позиция сайта в поисковых системах
по ключевому запросу. Уровень
проиндексированности сайта.
Соответствие сайта требованиям
поисковых алгоритмов
Что получаем в результате: ТЗ на
изменения внутри сайта. Расширение
ссылочного окружения. Повышение
видимости сайта. Дополнительные
посещения и продажи.
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Проектные фазы и методы
исследования UX.
Инициация Анализ-Дизайн ОКЭРазработка КЭ
Анализ задач
Анализ мировой
практики
Юзабилити-тесты
Карточная
сортировка
Сценарное
проектирование
Анализ обращений в ЦПК Сбор обратной связи
WEB аналитика
Опросник на
сайте
Online опросы
Tree Test
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Задачи
Функции
Сценарии
Операции
Идея продукта
Услуга позволяет защитить
детей от нежелательного
воздействия интернета
Must have: ограничить время нахождения в
интернете; ограничить круг посещаемых
сайтов; видеть, где бывает ребенок;
настройки для разных членов семьи…
Nice to have: ограничить объем трафика…
Ограничить время: календарь по дням недели и времени
суток. Квоты на пользование интернетом…
Ограничить круг сайтов: преднастроенные категории
запрещенного контента. «Черные» и «белые» списки сайтов…
Общие: временное отключение ограничений. Аккаунты для
разных членов семьи. Запрет на доступ по WiFi с телефона…
Сценарий настройки: Николай автоматически переходит в
настройки после подключения услуги. Создает логин и пароль для
входа в профиль ребенка. Включает настройку по времени и
попадает в расписание настройки. Разрешает пользование
интернетом в выходные в любое время суток, кроме ночного. Для
будних дней устанавливает квоту – 2 часа в сутки. Затем включает...
Операции сценария настройки: 1.Ввести логин 2. Ввести пароль,
проверить на выполнение требований. 3. Повторить ввод пароля.
4.Поставить отметку в чек-боксе «Включить настройки времени».
5.Поставить отметки в чек-боксах «Сб» и «Вс». 6. Снять отметки в
зоне «Ночь» для всех дней недели 7.…
Маркетинговые исследования
Этнографическое
исследование
Анализ задач
Story telling
Story telling
Анализ отраслевого
опыта
Юзабилити
Юзабилити
Общие требования
Детальное проектирование
На примере
услуги
«Родительский
контроль»
*
1 Основная
потребность
пользователя /
бизнеса
2
Способы
удовлетворения
основной
потребности
3
4
5
Инструменты,
позволяющие
выполнить задачи
Порядок
действий при
пользовании
функциями
Детальные шаги
сценария
Ценности Безопасность
Детализация требований
0
Общественный
идеал объектов
и явлений
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
И так, Юзабилити…
• Юзабилити - величина, показывающая, насколько легко
воспользоваться продуктом определенным людям в
определенных обстоятельствах (ISO 9241-11).
• Также практическая дисциплина, которая определяет правила
создания «дружелюбных» интерфейсов.
• Низкое удобство использования обычно приводит к
последствиям в виде дополнительных издержек,
недополученной прибыли и снижения лояльности.
• Юзабилити-тестирование –
экспериментальный метод оценки удобства
использования.
• Систематическое наблюдение за типичным
пользователем, выполняющим типичные для
продукта задачи.
• Тесты – обязательный компонент процедуры
запуска новых продуктов
Usability -
степень, с которой продукт может быть
использован определёнными пользователями
при определённом контексте использования
для достижения определённых целей с
должной эффективностью,
продуктивностью и
удовлетворённостью
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Сбор данных
 Факты надежнее мнений
 Пользователи не такие, как мы
 Все дело в деталях
 Хотя принципы создания интерфейсов едины,
нет готовых решений на все случаи жизни
Нужно для тестов
1. Место (контекст)
2. Организатор (модератор)
3. Определенные пользователи (респонденты)
4. Продукт
5. Задачи (стоящие у пользователя)
6. Средства фиксации и наблюдения
(оборудование)
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
1.
Лаборатория
 Лаборатория оборудована тремя «контекстными»
зонами – «офис», «кафе», «дом».
 За односторонним зеркалом находится посещение
для наблюдателей.
 Наблюдатели могут видеть и слышать все, что
происходит во время теста.
 Наблюдатели могут задать испытуемым вопросы
после того, как тестирование будет окончено.
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Возможности
контекстных зон
Зона «Офис»
Стационарные рабочие
места исследователей и
менеджера лаборатории
Место проведения
юзабилити-тестов
Тестовая зона b2b-услуг
Оборудование для eye-
traking’a
Оборудование для
тестирования touch
screen-услуг
Зона «Кафе»
Дополнительные места для
проведения тестов
Съемки обучающих
видеороликов
Проведение фуршетов
Зона «Дом»
Тестовая площадка
«Билайн» ТВ
Групповые исследования
Мозговые штурмы
Зона «Кинозал»
Проведение
презентаций, PR-
мероприятий, встреч по
проектам с большим
количеством участников
Обучающие сессии для
смежных
подразделений
Зона «Стакан»
Наблюдение за процессом
исследования
Кафе
Кинозал
Стакан
Офис
Дом
Ресепшн
Зона «Респшн»
Встреча гостей
Ожидание респондентов
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Заказчик
Дублирование
экрана
респондента
Аудио/Видео
Наблюдение
Eye Tracking
Заметки
наблюдателя
Модератор
Респондент
Камера
Дубль
Продукт
Наблюдательская
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
2.
Модератор
 Не обучает, не дает советов, не подсказывает
 Задает вопросы только чтобы лучше понимать суть
 Гостеприимный хозяин
 Ведущий
 Беспристрастный наблюдатель
 Хорошо знает продукт и все «золотые пути»
 А еще спокойный, уравновешенный, открытый, приветливый, внимательный, поддерживающий,
образованный, социальный и веселый.
Использует:
 Протокол тестирования. В нем для каждой задачи отмечается успешность выполнения и проблемы.
После того, как все задания выполнены, респондент определяет сложность каждого из них.
 Секундомер. Для каждой задачи отмечается время начала и окончания.
 Диктофон. Для записи голоса респондентов
 Специальное оборудование. Tobbii, видео-аудио наблюдение, планшеты, документ камеру и пр.
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
3. Подбор «правильных» респондентов
 Детальное и точное описание ЦА: мы точно знаем,
кого мы ищем. Не только социально-демографические, но
и поведенческие критерии отбора.
 Профессиональные рекрутеры: работу по поиску
респондентов и организации встреч берут на себя
специализированные агентства.
 «Слепой» набор: претенденты на участие в тестах не
знают заранее, кто нам нужен.
 Мораторий: должно пройти 6 месяцев с момента
участия в маркетинговом или Юзабилити-исследовании.
 Двойной контроль: респонденты еще раз отвечают на
отборочные вопросы, придя на исследование.
 Поведенческая проверка: модератор не только
задает вопросы, но и просит выполнить несколько
проверочных заданий.
 Вознаграждение: мы платим участникам за
потраченное время и усилия.
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Сколько человек приглашать на исследование?
«Магическое число 5»: 5 пользователей обнаруживают
80% проблем (Nielsen & Landauer, 1993)
В некоторых случаях мы увеличиваем количество респондентов:
 Сравнительные тесты
 Есть несколько сегментов, выполняющих в продукте разные задачи
 Сегменты сильно различаются по уровню опыта или технической
грамотности
 Есть несколько способов выполнить одну и ту же задачу и мы хотим
получить данные о каждом из них
Мы приглашаем на тесты одного
продукта 5-10 человек.
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Респонденты
Карточки с контентом
Модератор
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
4.
Оборудование
 Ноутбук для протокола
 Камера для записи лица
 Eye Tracker для слежения за глазами
 USB модемы для тестов
 IP TV для тестов
 Wi-Fi, 3G, LTE тестовые зоны
 Терминалы с touchscreen
 Беспроводные Аудио-микрофоны
 Планшеты, телефоны и смартфоны абонентов
 Документ камеры и регистраторы
 Мобильный стенд для тестирования телефонов
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Этапы проведения исследования
 Были ли проведены тесты ранее
 Необходимость тестирования
 Цели и задачи
 Гипотезы
 ЦА и размер
 Кто дизайнеры
 На каком этапе тестируем
 Возможность правок и изменений
 Ответственные за внедрение правок
 Есть ли деньги
 Сможете ли исправить
 Сколько времени есть
Брифинг
Сбор
данных
Анализ
данных
Отчет и
презентация
Подготовка
Рекрутинг
Чекаут и
внедрение
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Этапы проведения исследования
Брифинг
Сбор
данных
Анализ
данных
Отчет и
презентация
Подготовка
Рекрутинг
Чекаут и
внедрение
 Спецификация
 Customer jorney
 Гипотезы
 Задачи
 Задания
 Пилотаж
 Оборудование
 Приглашение для раб. группы
 Настройка наблюдения
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Customer journey map
Aware Engage UseSubscribe Activate Use more AdvocateUnaware
I know service
exist
I know what
this service
does
I can see what
this can do for
me.
I understand
costs and
benefits
I decided to
buy.
I sign up and
pay
I get informed.
I get it to work
on my
computer
I am able to
use it.
I start using it
I get value from
using it.
I rely on it
I want others to
use it.
I tell others about
it
Процесс исследования должен быть построен таким
образом, что бы более полно охватить
взаимодействие пользователей с продуктом – с
момента получения первой информации о продукте,
до момента использования сложных сценариев
использования продукта и рассказа и рекомендации
его другим пользователям.
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Customer journey map
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Интервьюер
Карточки
инсайтов
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
У всех разные задачи…
Задачи абонента Задачи компании Задачи исследования
Понять суть продукта Увеличить проникновение услуги Понять, считывается ли суть
компании
Понять стоимость услуги Объяснить стоимость услуги Понять, разбирается ли
пользователь в вопросах
стоимости
Воспользоваться услугой Дать инструкции по тому, как
настроить телефон и подключить
услугу
Проверить, сможет ли
пользователь воспользоваться
услугой
Совершить платеж через интернет Приучить пользователя регулярно
пользоваться продуктом
(настраивать избранные платежи
и автооплату)
Проверить, понимает ли
пользователь существующие у
продукта варианты
автоматизации платежей и
проверить, справляется ли он с
ними
задачи исследования - то, что вы, как представитель компании, хотите выяснить на исследовании
задачи пользователей - то, что имеет для пользователей самостоятельную ценность
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Какие задания выносить на тесты?
1. Хорошая задача - это та, у которой есть результат, представляющий для пользователя
непосредственный интерес.
2. Одна задача - один результат
3. Сформулированы на языке пользователей, и не содержать специализированных терминов
4. Постарайтесь избежать эффекта научения и подсказок, указывающих на пути выполнения
задания
5. Погружающими в контекст использования продукта
6. Однозначно понятны – пользователь должен точно понять, что нужно ему делать
7. Не давать невыполнимые и нереальные задачи
8. Краткая. Не содержащая сленга и личной информации
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Этапы проведения исследования
 Внешний или внутренний
 По телефону или онлайн
 Разные базы респондентов
 Бриф на рекрут
 Проверка респондентов
 Определение вознаграждения
 Составление графика сессий
 Garbage in – garbage out
 Фокус на целевой аудитории
 Правильные вопросы в анкете
Брифинг
Сбор
данных
Анализ
данных
Отчет и
презентация
Подготовка
Рекрутинг
Чекаут и
внедрение
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Скринер. Какие вопросы задавать?
Маркетинговый
сегмент
Вопросы из опросника на
определение сегмента:
отношение к мобильной
связи, ARPU, итд
Соц.-дем
Пол, возраст, дети, доход
Мотивация
Потенциально заинтересован
в продукте (напр., ходит в
кино, ищет выгодные тарифы,
срочно нужен интернет итд)
Опыт
Компьютерная грамотность,
знание интернета, модель
телефона, аналогичные
услуги
Доп.требования
Не работает в сфере
производства ПО, дизайне,
не знаком с модератором и
другими респондентами итд.
Поведение
Напр., периодически нет денег
на счету, платят за услуги через
интернет, обращаются с
вопросами к специалистам или
разбираются самостоятельно
Типы
вопросов
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
• Мы платим за тестирование денежное
вознаграждение.
• Мы оговариваем правила проведения
тестирования
• Мы приглашаем целевую,
заинтересованную аудиторию
• Мы работаем только с проверенными
рекрутинговыми агентствами
• Мы не приглашаем знакомых, друзей и
родственников
• Мы отдельно проводим исследования на
«гиперзамотевированных абонентах»
• Мы всегда оцениваем респондентов и
можем им отказать в участии в тестировании
Как сделать так, чтобы все были довольны?
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Этапы проведения исследования
 Размещение наблюдателей
 Инструктаж наблюдателей
 Знакомство
 Рескрининг
 Преамбула: правила работы на сессии
 Модерирование сессии
 Методика измерения удовлетворенности
 Прощание и выплата вознаграждения
 Преодоление сложных ситуаций
Брифинг
Сбор
данных
Анализ
данных
Отчет и
презентация
Подготовка
Рекрутинг
Чекаут и
внедрение
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Образец бумажного протокола
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Знакомство и модерирование. Кажется просто…
1. Подготовительный этап
• Знакомство с респондентом
• Рескрининг
• Преамбула – объяснение правил
совместной работы
2. Основной этап
• Выполнение заданий
3. Заключительный этап
• Оценка удовлетворенности продуктом
• Прощание
• Выплата вознаграждения
• Подготовка к следующей сессии
Модератор:
 Добрый хозяин
 Лидер
 Нейтральный наблюдатель
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Сложности модерирования
Будьте ведущим:
• Помните что процессом управляете вы
• Чувствуйте себя уверенно
• Возьмите инициативу в свои руки если что
то произошло с тестируемым продуктом
• Вы должны точно знать что делать если
нужна подсказка, помощь, либо
ободрение
Умейте слушать:
• Позволяйте респондентам высказываться
• Задавайте нейтральные вопросы
• Не ободряйте, но и не препятствуйте
эмоциональным высказываниям
• Избегайте высказываний в защиту
тестируемого продукта
И еще:
 Интуиция может вам помочь, но может и навредить
 Будьте беспристрастны
 Не давайте случайных подсказок
 Следите за эмоциональным состояние респондента
 Следите за своим эмоциональным состоянием
(усталость, вина, раздражение)
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Этапы проведения исследования
 «Вычитка» массива
 Типизация проблем
 Объединение схожих проблем
 Обсуждение с заказчиком
 Продуктивность, эффективность,
удовлетворенность
 Критичность, частота, важность
 Описание проблем
 Рекомендации к исправлению
 Данные EyeTracker
Брифинг
Сбор
данных
Анализ
данных
Отчет и
презентация
Подготовка
Рекрутинг
Чекаут и
внедрение
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Результаты, получаемые в
ходе исследований
Эффективность –
показывает успешность
каждой задачи, которая
была в исследовании
Удовлетворенность –
субъективная оценка
продукта реальным
пользователем
Продуктивность –
показывает время, за
которое абоненты смогли
выполнить задания
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Как мы описываем проблемы
Человек
Прошлый опыт
Ожидания
Предубеждения
Стереотипы
Иррациональные мотивы
Антропометрия
Сенсорная моторика
Система
Функционале
Информационной структуре
Навигации
Композиции
В тексте, фразах
Клиент
Отказ от использования
полностью или на
определенном шаге
Customer Journey
Выбор альтернативных
сервисов для решения
задачи
Увеличение времени
работы
Компания,
Нагрузка на коллцентр ,
офис обслуживания
Снижение уровня
конверсии сервиса
Влечет дополнительные
процессы/ действия
рабочей группы, других
подразделений компании
Отвечает на вопросы:
Что происходит с
пользователем?
Какую задачу не может
решить пользователь?
В чем выражается
отклонение от «золотого»
пути?
Должно быть:
Конкретным, без
абстрактных формулировок
Отражает наблюдаемое
поведение пользователя
Раскрывает заголовок
проблемы, а не просто
дублирует его
Проблема Описание Причина Влияние Рекомендации
UsT -
наблюдаемый на
исследовании факт
UsE -
предположение о
неверном
взаимодействии
человека и
интерфейса
Даются
исследователем
проводившим
тестирование
Обсуждаются
и изменяются всей
рабочей группой
совместно с
дизайнером
Обязательны
к выполнению
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Как это выглядит в отчете…
Показатели важности проблемыПроблема
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
1. В причинах указывается почему пользователь
совершил ошибку, а не его поведение
2. Формулировки должны быть конкретными.
3. Нужно раскрывать причины с иллюстрацией
проблемных мест интерфейса: «цитаты» фраз,
скриншоты
4. Из формулировки причины должно быть ясно – что
исправлять
5. По каждой причине дается рекомендация по
устранению, нумерация совпадает.
Очень важно правильно понять
причину проблемы…
И ее влияние. И еще важно
правильно всё описать!
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Система позволяет узнать:
• Что человек замечает и на что не обращает внимания?
• В какой последовательности рассматривает
элементы?
• Сколько времени тратит на рассматривание каждого
элемента?
• Сколько времени проходит, прежде чем человек
замечает значимый для восприятия рекламы элемент?
Что такое eye tracking?
Это технология слежения за взглядом пользователя при его работе
с визуальными пользовательскими интерфейсами для анализа
причин успешности / не успешности в восприятии информации с
них.
• Eye-tracking работает только в связке с классическими usability-
тестами.
• Eye-tracking не раскрывает отношение пользователей к
тестируемым материалам
• Eye-tracking расшифровывает природу эффективности / не
эффективности визуальных решений
Эффективность
визуального носителя информации
можно проверить, только посмотрев на
него глазами пользователя…
… и выяснив после этого, что же он
увидел
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Результаты, получаемые
с Eye Tracker
• Помогают лучше понять причины и природу
проблем
• «Слепые зоны» и другие нарушения в
восприятии web-страниц и промо-материалов
• Зрительные маршруты – путь движения
глаз респондентов, маршрут, по которому он
сканирует страницу в поисках необходимой
информации
• HeatMap – тепловые карты, показывают
самые «популярные» места сайта
• AOI – анализ сегментов интерфейса, зон
интереса
• Видеозапись – позволяет проработать
полученный материал еще раз
• Выгрузка данных позволяет наглядно
показать заказчикам и рабочей группе
проблемы в интерфейсе
• Используются ТОЛЬКО в совокупности с
другими методами Usability тестирования
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Этапы проведения исследования
 Проверка внедрения
 Оценка изменений
 Ю-чекаут
 Формирование списка
проблем
 Повторные тесты
Брифинг
Сбор
данных
Анализ
данных
Отчет и
презентация
Подготовка
Рекрутинг
Чекаут и
внедрение
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Управление качеством наших тестов
 Мы используем общепринятые, проверенные
методы, адаптированные под специфику телекома
 Мы следим за мировой практикой в нашей
области
 Мы используем самое современное и точное
оборудование, существующее на рынке
 Процесс тестов описан в процедурах,
обязательных для всех исследователей
 Качество и скорость тестов выше рыночных
 Наши партнеры работают по нашим правилам
 Мы продолжаем учиться
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
1. Юзабилити-тест – НЕ маркетинговое
исследование
2. Юзабилити-тест – НЕ предположение о
действиях реальных пользователей (UsE)
3. Пользователи НЕ такие же как мы.
• Мы предлагаем поработать с продуктом, а не поговорить о нем
• Беспроблемную работу с продуктом невозможно имитировать
• Нельзя предугадать действия и ошибки пользователей
• Нельзя провести тестирование без участия пользователей
• Для опроса мнений нужно гораздо больше людей, чем для тестов
Три важных НЕ…
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Попробуем?...
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
Новые методы исследований
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
«Юзабилити исследования в Билайн». Автор: Правдин Михаил
ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов
Спасибо
Автор: Правдин Михаил
По вопросам исследований:
mpravdin@beeline.ru
Дружить:
fb.com/mikhail.pravdin

More Related Content

Viewers also liked

Когда юзабилити интерфейса становится проекцией качества сервиса
Когда юзабилити интерфейса становится проекцией качества сервисаКогда юзабилити интерфейса становится проекцией качества сервиса
Когда юзабилити интерфейса становится проекцией качества сервисаLeonid Ivakhov
 
C.S.I. - индекс удовлетворенности потребителя
C.S.I. - индекс удовлетворенности потребителяC.S.I. - индекс удовлетворенности потребителя
C.S.I. - индекс удовлетворенности потребителяDmitry Satin
 
Оценка удовлетворенности по параметрам
Оценка удовлетворенности по параметрамОценка удовлетворенности по параметрам
Оценка удовлетворенности по параметрамBCGroup Russia
 
Spotlight on Jet2.com - Interview with Stuart Bass, B.I. Applications Manager
Spotlight on Jet2.com - Interview with Stuart Bass, B.I. Applications ManagerSpotlight on Jet2.com - Interview with Stuart Bass, B.I. Applications Manager
Spotlight on Jet2.com - Interview with Stuart Bass, B.I. Applications ManagerInterQuest Group
 
Stormwater Wetlands: A Vision for Sustainable and Healthy Urban Drainage
Stormwater Wetlands: A Vision for Sustainable and Healthy Urban DrainageStormwater Wetlands: A Vision for Sustainable and Healthy Urban Drainage
Stormwater Wetlands: A Vision for Sustainable and Healthy Urban Drainagejuliekannai
 
Curiosity Mississippi 2016
Curiosity Mississippi 2016Curiosity Mississippi 2016
Curiosity Mississippi 2016Brian Housand
 
[PreMoney SF 2015] Accel Partners >> Brian O'Malley, "How To: Generate Deal F...
[PreMoney SF 2015] Accel Partners >> Brian O'Malley, "How To: Generate Deal F...[PreMoney SF 2015] Accel Partners >> Brian O'Malley, "How To: Generate Deal F...
[PreMoney SF 2015] Accel Partners >> Brian O'Malley, "How To: Generate Deal F...500 Startups
 
The Opportunities and Challenges of #OER/#OCW in the Developing World
The Opportunities and Challenges of #OER/#OCW in the Developing WorldThe Opportunities and Challenges of #OER/#OCW in the Developing World
The Opportunities and Challenges of #OER/#OCW in the Developing WorldPaul Brown
 
Viral Marketing with Widgets
Viral Marketing with WidgetsViral Marketing with Widgets
Viral Marketing with Widgetsnzl
 
January 2017 template 1
January 2017 template 1January 2017 template 1
January 2017 template 1calendarfree
 
Autonomous Workforce Infograph
Autonomous Workforce InfographAutonomous Workforce Infograph
Autonomous Workforce InfographTodd Wheatland
 
5 Top Tips for Working Smarter
5 Top Tips for Working Smarter5 Top Tips for Working Smarter
5 Top Tips for Working SmarterInterQuest Group
 
Top Federal Tax Risks and Rewards
Top Federal Tax Risks and RewardsTop Federal Tax Risks and Rewards
Top Federal Tax Risks and RewardsGrant Thornton LLP
 
Апелляционная жалоба по решению о блокировки Рутрекера
Апелляционная жалоба по решению о блокировки РутрекераАпелляционная жалоба по решению о блокировки Рутрекера
Апелляционная жалоба по решению о блокировки РутрекераSarkis Darbinyan
 
Customer Decision/buying Journey
Customer Decision/buying JourneyCustomer Decision/buying Journey
Customer Decision/buying JourneyXuân Lan Nguyễn
 
Compliance program requirements for the Volcker Rule of the Dodd-Frank Act
Compliance program requirements for the Volcker Rule of the Dodd-Frank ActCompliance program requirements for the Volcker Rule of the Dodd-Frank Act
Compliance program requirements for the Volcker Rule of the Dodd-Frank ActGrant Thornton LLP
 
why any company should use social media?
why any company should use social media?why any company should use social media?
why any company should use social media?brieuc
 

Viewers also liked (20)

CJM
CJMCJM
CJM
 
Когда юзабилити интерфейса становится проекцией качества сервиса
Когда юзабилити интерфейса становится проекцией качества сервисаКогда юзабилити интерфейса становится проекцией качества сервиса
Когда юзабилити интерфейса становится проекцией качества сервиса
 
Обзор Осеннего Мастер-курса "Сервисный дизайн"
Обзор Осеннего Мастер-курса "Сервисный дизайн" Обзор Осеннего Мастер-курса "Сервисный дизайн"
Обзор Осеннего Мастер-курса "Сервисный дизайн"
 
C.S.I. - индекс удовлетворенности потребителя
C.S.I. - индекс удовлетворенности потребителяC.S.I. - индекс удовлетворенности потребителя
C.S.I. - индекс удовлетворенности потребителя
 
Оценка удовлетворенности по параметрам
Оценка удовлетворенности по параметрамОценка удовлетворенности по параметрам
Оценка удовлетворенности по параметрам
 
Spotlight on Jet2.com - Interview with Stuart Bass, B.I. Applications Manager
Spotlight on Jet2.com - Interview with Stuart Bass, B.I. Applications ManagerSpotlight on Jet2.com - Interview with Stuart Bass, B.I. Applications Manager
Spotlight on Jet2.com - Interview with Stuart Bass, B.I. Applications Manager
 
Stormwater Wetlands: A Vision for Sustainable and Healthy Urban Drainage
Stormwater Wetlands: A Vision for Sustainable and Healthy Urban DrainageStormwater Wetlands: A Vision for Sustainable and Healthy Urban Drainage
Stormwater Wetlands: A Vision for Sustainable and Healthy Urban Drainage
 
Curiosity Mississippi 2016
Curiosity Mississippi 2016Curiosity Mississippi 2016
Curiosity Mississippi 2016
 
[PreMoney SF 2015] Accel Partners >> Brian O'Malley, "How To: Generate Deal F...
[PreMoney SF 2015] Accel Partners >> Brian O'Malley, "How To: Generate Deal F...[PreMoney SF 2015] Accel Partners >> Brian O'Malley, "How To: Generate Deal F...
[PreMoney SF 2015] Accel Partners >> Brian O'Malley, "How To: Generate Deal F...
 
The Opportunities and Challenges of #OER/#OCW in the Developing World
The Opportunities and Challenges of #OER/#OCW in the Developing WorldThe Opportunities and Challenges of #OER/#OCW in the Developing World
The Opportunities and Challenges of #OER/#OCW in the Developing World
 
Viral Marketing with Widgets
Viral Marketing with WidgetsViral Marketing with Widgets
Viral Marketing with Widgets
 
January 2017 template 1
January 2017 template 1January 2017 template 1
January 2017 template 1
 
Autonomous Workforce Infograph
Autonomous Workforce InfographAutonomous Workforce Infograph
Autonomous Workforce Infograph
 
5 Top Tips for Working Smarter
5 Top Tips for Working Smarter5 Top Tips for Working Smarter
5 Top Tips for Working Smarter
 
Top Federal Tax Risks and Rewards
Top Federal Tax Risks and RewardsTop Federal Tax Risks and Rewards
Top Federal Tax Risks and Rewards
 
Апелляционная жалоба по решению о блокировки Рутрекера
Апелляционная жалоба по решению о блокировки РутрекераАпелляционная жалоба по решению о блокировки Рутрекера
Апелляционная жалоба по решению о блокировки Рутрекера
 
Customer Decision/buying Journey
Customer Decision/buying JourneyCustomer Decision/buying Journey
Customer Decision/buying Journey
 
Moments...
Moments...Moments...
Moments...
 
Compliance program requirements for the Volcker Rule of the Dodd-Frank Act
Compliance program requirements for the Volcker Rule of the Dodd-Frank ActCompliance program requirements for the Volcker Rule of the Dodd-Frank Act
Compliance program requirements for the Volcker Rule of the Dodd-Frank Act
 
why any company should use social media?
why any company should use social media?why any company should use social media?
why any company should use social media?
 

Similar to Usability MobioLab

Презентация CLJ
Презентация CLJПрезентация CLJ
Презентация CLJmarina688292
 
Технический заказчик в проектах создания ИС
Технический заказчик в проектах создания ИСТехнический заказчик в проектах создания ИС
Технический заказчик в проектах создания ИСSQALab
 
Sef Tech Customer Bezugliy Presentation
Sef Tech Customer Bezugliy PresentationSef Tech Customer Bezugliy Presentation
Sef Tech Customer Bezugliy Presentationsef2009
 
чмв лабораторная №4
чмв   лабораторная №4чмв   лабораторная №4
чмв лабораторная №4student_kai
 
Moodle Corporate
Moodle CorporateMoodle Corporate
Moodle CorporateTechnomatix
 
Mind map для «Архитектура А/Б тестирования: сделай сам»
Mind map для «Архитектура А/Б тестирования: сделай сам»Mind map для «Архитектура А/Б тестирования: сделай сам»
Mind map для «Архитектура А/Б тестирования: сделай сам»Sergey Xek
 
Аліна Петренко: “Майстер-клас: Виявлення ключових вимог на предпроектній фазі...
Аліна Петренко: “Майстер-клас: Виявлення ключових вимог на предпроектній фазі...Аліна Петренко: “Майстер-клас: Виявлення ключових вимог на предпроектній фазі...
Аліна Петренко: “Майстер-клас: Виявлення ключових вимог на предпроектній фазі...Dakiry
 
SQA Days 2009: Контроль качества интерфейсных решений на всех этапах процесса...
SQA Days 2009: Контроль качества интерфейсных решений на всех этапах процесса...SQA Days 2009: Контроль качества интерфейсных решений на всех этапах процесса...
SQA Days 2009: Контроль качества интерфейсных решений на всех этапах процесса...Yury Vetrov
 
Виды QA: Всё что вы не знали и боялись спростить
Виды QA: Всё что вы не знали и боялись спроститьВиды QA: Всё что вы не знали и боялись спростить
Виды QA: Всё что вы не знали и боялись спроститьGoIT
 
Дипломная работа: Адаптивные пользовательские интерфейсы банковских систем.
Дипломная работа: Адаптивные пользовательские интерфейсы банковских систем.Дипломная работа: Адаптивные пользовательские интерфейсы банковских систем.
Дипломная работа: Адаптивные пользовательские интерфейсы банковских систем.sky_in_eyes
 
Омниканальное обслуживание клиентов. Мобильные мессенджеры
Омниканальное обслуживание клиентов.  Мобильные мессенджерыОмниканальное обслуживание клиентов.  Мобильные мессенджеры
Омниканальное обслуживание клиентов. Мобильные мессенджерыИнфобанк бай
 
Эволюция веб разработки
Эволюция веб разработкиЭволюция веб разработки
Эволюция веб разработкиVictor Bolshakov
 
Кровь, пот и слезы ваших пользователей. Уроки, вынесенные из юзабилити исслед...
Кровь, пот и слезы ваших пользователей. Уроки, вынесенные из юзабилити исслед...Кровь, пот и слезы ваших пользователей. Уроки, вынесенные из юзабилити исслед...
Кровь, пот и слезы ваших пользователей. Уроки, вынесенные из юзабилити исслед...Tanya Zavialova
 
Julia Velichko: Застосування user story map в проектах по автоматизації бізне...
Julia Velichko: Застосування user story map в проектах по автоматизації бізне...Julia Velichko: Застосування user story map в проектах по автоматизації бізне...
Julia Velichko: Застосування user story map в проектах по автоматизації бізне...Lviv Startup Club
 
Performance-маркетинг мобильных приложений
Performance-маркетинг мобильных приложенийPerformance-маркетинг мобильных приложений
Performance-маркетинг мобильных приложенийNetpeak
 
Маркетинг мобильных приложений: чек-лист по запуску первой кампании
Маркетинг мобильных приложений: чек-лист по запуску первой кампанииМаркетинг мобильных приложений: чек-лист по запуску первой кампании
Маркетинг мобильных приложений: чек-лист по запуску первой кампанииNetpeak
 
5 alina petrenko - key requirements elicitation during the first contact wi...
5   alina petrenko - key requirements elicitation during the first contact wi...5   alina petrenko - key requirements elicitation during the first contact wi...
5 alina petrenko - key requirements elicitation during the first contact wi...Ievgenii Katsan
 

Similar to Usability MobioLab (20)

Презентация CLJ
Презентация CLJПрезентация CLJ
Презентация CLJ
 
Технический заказчик в проектах создания ИС
Технический заказчик в проектах создания ИСТехнический заказчик в проектах создания ИС
Технический заказчик в проектах создания ИС
 
Sef Tech Customer Bezugliy Presentation
Sef Tech Customer Bezugliy PresentationSef Tech Customer Bezugliy Presentation
Sef Tech Customer Bezugliy Presentation
 
чмв лабораторная №4
чмв   лабораторная №4чмв   лабораторная №4
чмв лабораторная №4
 
Moodle Corporate
Moodle CorporateMoodle Corporate
Moodle Corporate
 
Mind map для «Архитектура А/Б тестирования: сделай сам»
Mind map для «Архитектура А/Б тестирования: сделай сам»Mind map для «Архитектура А/Б тестирования: сделай сам»
Mind map для «Архитектура А/Б тестирования: сделай сам»
 
Uz forum1
Uz forum1Uz forum1
Uz forum1
 
Аліна Петренко: “Майстер-клас: Виявлення ключових вимог на предпроектній фазі...
Аліна Петренко: “Майстер-клас: Виявлення ключових вимог на предпроектній фазі...Аліна Петренко: “Майстер-клас: Виявлення ключових вимог на предпроектній фазі...
Аліна Петренко: “Майстер-клас: Виявлення ключових вимог на предпроектній фазі...
 
SQA Days 2009: Контроль качества интерфейсных решений на всех этапах процесса...
SQA Days 2009: Контроль качества интерфейсных решений на всех этапах процесса...SQA Days 2009: Контроль качества интерфейсных решений на всех этапах процесса...
SQA Days 2009: Контроль качества интерфейсных решений на всех этапах процесса...
 
Виды QA: Всё что вы не знали и боялись спростить
Виды QA: Всё что вы не знали и боялись спроститьВиды QA: Всё что вы не знали и боялись спростить
Виды QA: Всё что вы не знали и боялись спростить
 
Дипломная работа: Адаптивные пользовательские интерфейсы банковских систем.
Дипломная работа: Адаптивные пользовательские интерфейсы банковских систем.Дипломная работа: Адаптивные пользовательские интерфейсы банковских систем.
Дипломная работа: Адаптивные пользовательские интерфейсы банковских систем.
 
Омниканальное обслуживание клиентов. Мобильные мессенджеры
Омниканальное обслуживание клиентов.  Мобильные мессенджерыОмниканальное обслуживание клиентов.  Мобильные мессенджеры
Омниканальное обслуживание клиентов. Мобильные мессенджеры
 
Эволюция веб разработки
Эволюция веб разработкиЭволюция веб разработки
Эволюция веб разработки
 
Кровь, пот и слезы ваших пользователей. Уроки, вынесенные из юзабилити исслед...
Кровь, пот и слезы ваших пользователей. Уроки, вынесенные из юзабилити исслед...Кровь, пот и слезы ваших пользователей. Уроки, вынесенные из юзабилити исслед...
Кровь, пот и слезы ваших пользователей. Уроки, вынесенные из юзабилити исслед...
 
Bc crm
Bc crmBc crm
Bc crm
 
Julia Velichko: Застосування user story map в проектах по автоматизації бізне...
Julia Velichko: Застосування user story map в проектах по автоматизації бізне...Julia Velichko: Застосування user story map в проектах по автоматизації бізне...
Julia Velichko: Застосування user story map в проектах по автоматизації бізне...
 
Performance-маркетинг мобильных приложений
Performance-маркетинг мобильных приложенийPerformance-маркетинг мобильных приложений
Performance-маркетинг мобильных приложений
 
Маркетинг мобильных приложений: чек-лист по запуску первой кампании
Маркетинг мобильных приложений: чек-лист по запуску первой кампанииМаркетинг мобильных приложений: чек-лист по запуску первой кампании
Маркетинг мобильных приложений: чек-лист по запуску первой кампании
 
Usability_testing
Usability_testingUsability_testing
Usability_testing
 
5 alina petrenko - key requirements elicitation during the first contact wi...
5   alina petrenko - key requirements elicitation during the first contact wi...5   alina petrenko - key requirements elicitation during the first contact wi...
5 alina petrenko - key requirements elicitation during the first contact wi...
 

Usability MobioLab

  • 1. ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн» Автор: Правдин Михаил По вопросам исследований: mpravdin@beeline.ru Дружить: fb.com/mikhail.pravdin
  • 2. Зачем мы собрались? 1. Какие методы мы используем 2. Что такое Usability 3. Что нужно для проведения эксперимента 4. Кто такой модератор 5. Этапы юзабилити тестов 6. Какие задачи выносить на тесты 7. Какие данные получаем в итоге 8. Кто такой Ай Трекер 9. Что нового на рынке исследований ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 3. Знание о пользователях Опыт взаимодействия (англ. User eXperience, UX) — это ощущения, возникающие у человека при непосредственном взаимодействии с объектами окружающего мира. В более узком смысле, опыт взаимодействия характеризует личное восприятие человеком функциональных и эмоциональных характеристик продукта или услуги в процессе использования Тестируя уже готовый продукт и наблюдая за действиями пользователя, часто сталкиваешься с тем, что многих проблем можно было бы избежать, если бы мы привлекли его на стадии рождения продукта. ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 4. Своих клиентов надо знать  Чтобы привлечь больше покупателей  Чтобы суметь их удержать  Чтобы добиться эффекта «сарафанного радио»  Чтобы меньше сил тратить на обслуживание  Чтобы меньше переделывать  Чтобы знать будущее и готовиться к нему ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 5. • Помогает выбрать поставщика • Заложить оптимальное количество функций: учесть самое важное, остальное же отложить • Понять как реально действуют наши клиенты, пользуясь нашими услугами • Какие задачи имеют и как их решают • Как можно изменить уже существующий продукт, чтобы он лучше отвечал потребностям клиентов • Помочь разработать план долгосрочного развития продукта • Нащупать тренды – знать будущее и готовится к нему. ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 6. Методы исследований U-Test ПоведениеМнение Качественные Количественные Online U-Test U-Test skype Card Sort Tree Test Field Studies Interview Eye Tracking Focus group Diary Surveys Feedback A/B (Live) Testing Web Analytics Естественные Искусственные Несуществующие Task Research Best Practice ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 7. Анализ задач Стадия PD: инициация Что нужно : сформированная идея продукта, его описание Что получаем от пользователей: задачи, которые пользователи хотели бы решать (без каких-либо ограничений) Что получаем в результате: приоритезированные по важности задачи и список функций, поддерживающих эти задачи Программа лояльности Накапливать бонусы и тратить их на свою связь Накопить баллы Потрати баллы Сократить количество карт Иметь постоянный и легкий доступ к программе Управлять баллами Получить привилегии Использовать карту как БК  Через SMS и USSD  Через ЛК  Через мобильное приложение  Узнать о количестве накопленных баллов  Увеличить баллы через акции и спец.предложения  Получить статус  Участвовать в спец.мероприятиях для владельцев карты  Воспользоваться программой без карты  Использовать карту в других городах и странах  Использовать карту как БК  Использовать карту как депозит или кредитку  Объединить все карты под одной карточкой (универсальная карта) ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 8. Сценарное проектирование (ментальные модели) Стадия PD: инициация, новый релиз Что нужно: люди, имеющие опыт решения сходных задач или реальный опыт использования продукта. Что получаем от пользователей: список решаемых задач, тригеры, последовательность шагов, проблемы, контекст. Что получаем в результате: блок- схему всех действий пользователя для решения задачи с подробной информацией по каждому шагу. Поступление счета Выгрузка отчета по начислениям Сопоставление номера с ФИО и группой Выгрузка отчета по номерам Несколько личных кабинетов со своими логинами- паролями Инициаторы: телеком-менеджер или топ-менеджер (при значительном превышении бюджета) В осн. с помощью eCare. Изучаются диаграммы и счета Некорректно выгружаются счета (не полностью или выгрузка прерывается) Нет Выгрузка списка проблемных номеров Да Получение отчета о превышении лимита Сопоставление с внутренними правилами разделения расходов Проверка начислений по типам услуг Неудобный интерфейс для получения отчета Да C помощью внутренней программы (принимает на обработку PDF- файл) C помощью внутренней программы / Мобильного бюджета Нет Менеджер от Билайна eCare «тормозит» и/или медленно открывается Отчет пересылается в бухгалтерию eCare корректно работает только на IE Проверка корректности биллинга Счет и детализация в PDF, невозможно редактировать и обрабатывать Рассылка детализаций сотрудникам - вручную Для Мобильного бюджета – очень много бумажных договоров Чтобы скачать заказанный отчет, нужно снова заходить в eCare Если сотрудник укладывается в мобильный бюджет, кредитный лимит снижается до 0 Для каждого сотрудника приходится открывать его договор Проверка по конкретным операциям ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 9. Анализ мировой практики Стадия PD: инициация, анализ дизайн Что нужно: наши и зарубежные аналоги продукта, решающие схожие задачи С чем работаем: Систематический обзор решений в области функционала, информационной архитектуры, эстетики, навигационных и композиционных принципов, применяемых в мировой практике. Что получаем в результате: Информация позволяет преодолеть инерцию в проектировании услуг. Можно сделать предварительное заключение о технической реализуемости решений. ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 10. Карточная сортировка Стадия PD: анализ дизайн Что нужно: элементы контента Что получаем от пользователей: элементы упорядочены по созданным пользователями разделам, названия разделов Что получаем в результате: Принципы, ориентируясь на которые пользователи организуют контент. Пользовательскую терминологию. Понимание, какие элементы требуют дублирования в разных категориях, какие лишние, какие нужны, но отсутствуют. ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 11. Анализ обращений в ЦПК Стадия PD: инициация Что нужно: четкие цели и задачи исследования, база звонков в ЦПК Что получаем от пользователей: Пользовательские задачи, последовательность шагов для их выполнения, взаимосвязь сценариев и шагов. Что получаем в результате: Схемы демонстрирующие последовательность операций и взаимосвязь сценариев. Подробные комментарии к каждому шагу. Проблемы, с которыми сталкиваются пользователи, решая свои задачи. Все участники процесса. Триггер: Я знаю, на что трачу и хочу тратить меньше 1. Выбрать способ экономии Что выбрано? 2. Уточнить текущие расценки по направлению 3. Подобрать тариф по параметру 4. Уточнить влияние на другие параметры 5. Выяснить условия перехода Устраивает новый тариф? 6. Определиться с моментом перехода Когда я хочу перейти? 11. Конец интеракции 9. Перейти немедленно 10. Получить команду для перехода 12. Уточнить текущие расценки по направлению Знаю из предыдущего сценария контроля расходов 13. Подобрать тарифную опцию по параметру 15. Проверить доступность и совместимость опции Опция доступна? 16. Выяснить условия перехода Устраивает новая опция? 17. Конец интеракции 18. Определиться с моментом подключения 23. Отключить VAS, тарифные опции, CPA Можно ли отключить через системы Билайн? 24.Отключить через системы Билайн 25. Получить информацию об отключении через системы партнеров Поменять тариф Отключить платные услуги Подобрать тарифную опцию Да Нет Да Нет Нет ДаСейчас Потом Да Нет, не совместима с тарифом Оптимизация расходов 14. Оценить выгодность перехода 7. Проверить, достаточно ли средств для перехода 8. Пополнить счет Проинформировать о способах пополнения счета онлайн Когда я хочу перейти? 21. Подключить немедленно 22. Получить команду для подключения Сейчас Потом 19. Проверить, достаточно ли средств для подключения 20. Пополнить счет Проинформировать о способах пополнения счета онлайн Не совсем Необходимо проверять совместимость автоматически ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 12. Сбор обратной связи Стадия PD: окончание разработки (пилот), ОКЭ Что нужно: контакты клиентов-участников пилота, утвержденный опросник Что получаем от пользователей: общая оценка удовлетворенности продуктом, проблемы в процессе повседневного использования продукта Что получаем в результате: Проблемы продукта, рекомендации по их решению, данные по эффективности (по оценке самого клиента). 50% 13% 10% 7% 7% 3% 3% 2% 2% 2% 1% Комментарии абонентов ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 13. Web-аналитика Стадия PD: КЭ Что нужно: установка счетчика системы веб- аналитики, четкое понимание целевых действий и KPI’s сайта Что получаем от пользователей: аудиторные показатели (посещения, уникальные посетители, время пребывания на странице, глубина просмотра, источник трафика), выполнение целей (напр., заполнение заявки на подключение), наступление событий (напр., клик на кнопку call to action) Что получаем в результате: отчеты, содержащие нужные заказчику параметры. Представление о проблемных областях сайта. Оценку эффективности внесенных изменений. Идеи по улучшению ситуации ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 14. SEO-оптимизация Стадия PD: анализ дизайн, КЭ Что нужно: набор целевых запросов, по которым мы хотим привлечь пользователей на сайт Что получаем от пользователей: Позиция сайта в поисковых системах по ключевому запросу. Уровень проиндексированности сайта. Соответствие сайта требованиям поисковых алгоритмов Что получаем в результате: ТЗ на изменения внутри сайта. Расширение ссылочного окружения. Повышение видимости сайта. Дополнительные посещения и продажи. ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 15. Проектные фазы и методы исследования UX. Инициация Анализ-Дизайн ОКЭРазработка КЭ Анализ задач Анализ мировой практики Юзабилити-тесты Карточная сортировка Сценарное проектирование Анализ обращений в ЦПК Сбор обратной связи WEB аналитика Опросник на сайте Online опросы Tree Test ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 16. Задачи Функции Сценарии Операции Идея продукта Услуга позволяет защитить детей от нежелательного воздействия интернета Must have: ограничить время нахождения в интернете; ограничить круг посещаемых сайтов; видеть, где бывает ребенок; настройки для разных членов семьи… Nice to have: ограничить объем трафика… Ограничить время: календарь по дням недели и времени суток. Квоты на пользование интернетом… Ограничить круг сайтов: преднастроенные категории запрещенного контента. «Черные» и «белые» списки сайтов… Общие: временное отключение ограничений. Аккаунты для разных членов семьи. Запрет на доступ по WiFi с телефона… Сценарий настройки: Николай автоматически переходит в настройки после подключения услуги. Создает логин и пароль для входа в профиль ребенка. Включает настройку по времени и попадает в расписание настройки. Разрешает пользование интернетом в выходные в любое время суток, кроме ночного. Для будних дней устанавливает квоту – 2 часа в сутки. Затем включает... Операции сценария настройки: 1.Ввести логин 2. Ввести пароль, проверить на выполнение требований. 3. Повторить ввод пароля. 4.Поставить отметку в чек-боксе «Включить настройки времени». 5.Поставить отметки в чек-боксах «Сб» и «Вс». 6. Снять отметки в зоне «Ночь» для всех дней недели 7.… Маркетинговые исследования Этнографическое исследование Анализ задач Story telling Story telling Анализ отраслевого опыта Юзабилити Юзабилити Общие требования Детальное проектирование На примере услуги «Родительский контроль» * 1 Основная потребность пользователя / бизнеса 2 Способы удовлетворения основной потребности 3 4 5 Инструменты, позволяющие выполнить задачи Порядок действий при пользовании функциями Детальные шаги сценария Ценности Безопасность Детализация требований 0 Общественный идеал объектов и явлений ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 17. И так, Юзабилити… • Юзабилити - величина, показывающая, насколько легко воспользоваться продуктом определенным людям в определенных обстоятельствах (ISO 9241-11). • Также практическая дисциплина, которая определяет правила создания «дружелюбных» интерфейсов. • Низкое удобство использования обычно приводит к последствиям в виде дополнительных издержек, недополученной прибыли и снижения лояльности. • Юзабилити-тестирование – экспериментальный метод оценки удобства использования. • Систематическое наблюдение за типичным пользователем, выполняющим типичные для продукта задачи. • Тесты – обязательный компонент процедуры запуска новых продуктов Usability - степень, с которой продукт может быть использован определёнными пользователями при определённом контексте использования для достижения определённых целей с должной эффективностью, продуктивностью и удовлетворённостью ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 18. Сбор данных  Факты надежнее мнений  Пользователи не такие, как мы  Все дело в деталях  Хотя принципы создания интерфейсов едины, нет готовых решений на все случаи жизни Нужно для тестов 1. Место (контекст) 2. Организатор (модератор) 3. Определенные пользователи (респонденты) 4. Продукт 5. Задачи (стоящие у пользователя) 6. Средства фиксации и наблюдения (оборудование) ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 19. 1. Лаборатория  Лаборатория оборудована тремя «контекстными» зонами – «офис», «кафе», «дом».  За односторонним зеркалом находится посещение для наблюдателей.  Наблюдатели могут видеть и слышать все, что происходит во время теста.  Наблюдатели могут задать испытуемым вопросы после того, как тестирование будет окончено. ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 20. Возможности контекстных зон Зона «Офис» Стационарные рабочие места исследователей и менеджера лаборатории Место проведения юзабилити-тестов Тестовая зона b2b-услуг Оборудование для eye- traking’a Оборудование для тестирования touch screen-услуг Зона «Кафе» Дополнительные места для проведения тестов Съемки обучающих видеороликов Проведение фуршетов Зона «Дом» Тестовая площадка «Билайн» ТВ Групповые исследования Мозговые штурмы Зона «Кинозал» Проведение презентаций, PR- мероприятий, встреч по проектам с большим количеством участников Обучающие сессии для смежных подразделений Зона «Стакан» Наблюдение за процессом исследования Кафе Кинозал Стакан Офис Дом Ресепшн Зона «Респшн» Встреча гостей Ожидание респондентов ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 21. Заказчик Дублирование экрана респондента Аудио/Видео Наблюдение Eye Tracking Заметки наблюдателя Модератор Респондент Камера Дубль Продукт Наблюдательская ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 22. 2. Модератор  Не обучает, не дает советов, не подсказывает  Задает вопросы только чтобы лучше понимать суть  Гостеприимный хозяин  Ведущий  Беспристрастный наблюдатель  Хорошо знает продукт и все «золотые пути»  А еще спокойный, уравновешенный, открытый, приветливый, внимательный, поддерживающий, образованный, социальный и веселый. Использует:  Протокол тестирования. В нем для каждой задачи отмечается успешность выполнения и проблемы. После того, как все задания выполнены, респондент определяет сложность каждого из них.  Секундомер. Для каждой задачи отмечается время начала и окончания.  Диктофон. Для записи голоса респондентов  Специальное оборудование. Tobbii, видео-аудио наблюдение, планшеты, документ камеру и пр. ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 23. 3. Подбор «правильных» респондентов  Детальное и точное описание ЦА: мы точно знаем, кого мы ищем. Не только социально-демографические, но и поведенческие критерии отбора.  Профессиональные рекрутеры: работу по поиску респондентов и организации встреч берут на себя специализированные агентства.  «Слепой» набор: претенденты на участие в тестах не знают заранее, кто нам нужен.  Мораторий: должно пройти 6 месяцев с момента участия в маркетинговом или Юзабилити-исследовании.  Двойной контроль: респонденты еще раз отвечают на отборочные вопросы, придя на исследование.  Поведенческая проверка: модератор не только задает вопросы, но и просит выполнить несколько проверочных заданий.  Вознаграждение: мы платим участникам за потраченное время и усилия. ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 24. Сколько человек приглашать на исследование? «Магическое число 5»: 5 пользователей обнаруживают 80% проблем (Nielsen & Landauer, 1993) В некоторых случаях мы увеличиваем количество респондентов:  Сравнительные тесты  Есть несколько сегментов, выполняющих в продукте разные задачи  Сегменты сильно различаются по уровню опыта или технической грамотности  Есть несколько способов выполнить одну и ту же задачу и мы хотим получить данные о каждом из них Мы приглашаем на тесты одного продукта 5-10 человек. ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 25. Респонденты Карточки с контентом Модератор ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 26. 4. Оборудование  Ноутбук для протокола  Камера для записи лица  Eye Tracker для слежения за глазами  USB модемы для тестов  IP TV для тестов  Wi-Fi, 3G, LTE тестовые зоны  Терминалы с touchscreen  Беспроводные Аудио-микрофоны  Планшеты, телефоны и смартфоны абонентов  Документ камеры и регистраторы  Мобильный стенд для тестирования телефонов ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 27. Этапы проведения исследования  Были ли проведены тесты ранее  Необходимость тестирования  Цели и задачи  Гипотезы  ЦА и размер  Кто дизайнеры  На каком этапе тестируем  Возможность правок и изменений  Ответственные за внедрение правок  Есть ли деньги  Сможете ли исправить  Сколько времени есть Брифинг Сбор данных Анализ данных Отчет и презентация Подготовка Рекрутинг Чекаут и внедрение ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 28. Этапы проведения исследования Брифинг Сбор данных Анализ данных Отчет и презентация Подготовка Рекрутинг Чекаут и внедрение  Спецификация  Customer jorney  Гипотезы  Задачи  Задания  Пилотаж  Оборудование  Приглашение для раб. группы  Настройка наблюдения ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 29. Customer journey map Aware Engage UseSubscribe Activate Use more AdvocateUnaware I know service exist I know what this service does I can see what this can do for me. I understand costs and benefits I decided to buy. I sign up and pay I get informed. I get it to work on my computer I am able to use it. I start using it I get value from using it. I rely on it I want others to use it. I tell others about it Процесс исследования должен быть построен таким образом, что бы более полно охватить взаимодействие пользователей с продуктом – с момента получения первой информации о продукте, до момента использования сложных сценариев использования продукта и рассказа и рекомендации его другим пользователям. ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 30. Customer journey map ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 31. Интервьюер Карточки инсайтов ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 32. У всех разные задачи… Задачи абонента Задачи компании Задачи исследования Понять суть продукта Увеличить проникновение услуги Понять, считывается ли суть компании Понять стоимость услуги Объяснить стоимость услуги Понять, разбирается ли пользователь в вопросах стоимости Воспользоваться услугой Дать инструкции по тому, как настроить телефон и подключить услугу Проверить, сможет ли пользователь воспользоваться услугой Совершить платеж через интернет Приучить пользователя регулярно пользоваться продуктом (настраивать избранные платежи и автооплату) Проверить, понимает ли пользователь существующие у продукта варианты автоматизации платежей и проверить, справляется ли он с ними задачи исследования - то, что вы, как представитель компании, хотите выяснить на исследовании задачи пользователей - то, что имеет для пользователей самостоятельную ценность ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 33. Какие задания выносить на тесты? 1. Хорошая задача - это та, у которой есть результат, представляющий для пользователя непосредственный интерес. 2. Одна задача - один результат 3. Сформулированы на языке пользователей, и не содержать специализированных терминов 4. Постарайтесь избежать эффекта научения и подсказок, указывающих на пути выполнения задания 5. Погружающими в контекст использования продукта 6. Однозначно понятны – пользователь должен точно понять, что нужно ему делать 7. Не давать невыполнимые и нереальные задачи 8. Краткая. Не содержащая сленга и личной информации ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 34. Этапы проведения исследования  Внешний или внутренний  По телефону или онлайн  Разные базы респондентов  Бриф на рекрут  Проверка респондентов  Определение вознаграждения  Составление графика сессий  Garbage in – garbage out  Фокус на целевой аудитории  Правильные вопросы в анкете Брифинг Сбор данных Анализ данных Отчет и презентация Подготовка Рекрутинг Чекаут и внедрение ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 35. Скринер. Какие вопросы задавать? Маркетинговый сегмент Вопросы из опросника на определение сегмента: отношение к мобильной связи, ARPU, итд Соц.-дем Пол, возраст, дети, доход Мотивация Потенциально заинтересован в продукте (напр., ходит в кино, ищет выгодные тарифы, срочно нужен интернет итд) Опыт Компьютерная грамотность, знание интернета, модель телефона, аналогичные услуги Доп.требования Не работает в сфере производства ПО, дизайне, не знаком с модератором и другими респондентами итд. Поведение Напр., периодически нет денег на счету, платят за услуги через интернет, обращаются с вопросами к специалистам или разбираются самостоятельно Типы вопросов ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 36. • Мы платим за тестирование денежное вознаграждение. • Мы оговариваем правила проведения тестирования • Мы приглашаем целевую, заинтересованную аудиторию • Мы работаем только с проверенными рекрутинговыми агентствами • Мы не приглашаем знакомых, друзей и родственников • Мы отдельно проводим исследования на «гиперзамотевированных абонентах» • Мы всегда оцениваем респондентов и можем им отказать в участии в тестировании Как сделать так, чтобы все были довольны? ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 37. Этапы проведения исследования  Размещение наблюдателей  Инструктаж наблюдателей  Знакомство  Рескрининг  Преамбула: правила работы на сессии  Модерирование сессии  Методика измерения удовлетворенности  Прощание и выплата вознаграждения  Преодоление сложных ситуаций Брифинг Сбор данных Анализ данных Отчет и презентация Подготовка Рекрутинг Чекаут и внедрение ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 38. Образец бумажного протокола ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 39. Знакомство и модерирование. Кажется просто… 1. Подготовительный этап • Знакомство с респондентом • Рескрининг • Преамбула – объяснение правил совместной работы 2. Основной этап • Выполнение заданий 3. Заключительный этап • Оценка удовлетворенности продуктом • Прощание • Выплата вознаграждения • Подготовка к следующей сессии Модератор:  Добрый хозяин  Лидер  Нейтральный наблюдатель ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 40. Сложности модерирования Будьте ведущим: • Помните что процессом управляете вы • Чувствуйте себя уверенно • Возьмите инициативу в свои руки если что то произошло с тестируемым продуктом • Вы должны точно знать что делать если нужна подсказка, помощь, либо ободрение Умейте слушать: • Позволяйте респондентам высказываться • Задавайте нейтральные вопросы • Не ободряйте, но и не препятствуйте эмоциональным высказываниям • Избегайте высказываний в защиту тестируемого продукта И еще:  Интуиция может вам помочь, но может и навредить  Будьте беспристрастны  Не давайте случайных подсказок  Следите за эмоциональным состояние респондента  Следите за своим эмоциональным состоянием (усталость, вина, раздражение) ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 41. Этапы проведения исследования  «Вычитка» массива  Типизация проблем  Объединение схожих проблем  Обсуждение с заказчиком  Продуктивность, эффективность, удовлетворенность  Критичность, частота, важность  Описание проблем  Рекомендации к исправлению  Данные EyeTracker Брифинг Сбор данных Анализ данных Отчет и презентация Подготовка Рекрутинг Чекаут и внедрение ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 42. Результаты, получаемые в ходе исследований Эффективность – показывает успешность каждой задачи, которая была в исследовании Удовлетворенность – субъективная оценка продукта реальным пользователем Продуктивность – показывает время, за которое абоненты смогли выполнить задания ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 43. Как мы описываем проблемы Человек Прошлый опыт Ожидания Предубеждения Стереотипы Иррациональные мотивы Антропометрия Сенсорная моторика Система Функционале Информационной структуре Навигации Композиции В тексте, фразах Клиент Отказ от использования полностью или на определенном шаге Customer Journey Выбор альтернативных сервисов для решения задачи Увеличение времени работы Компания, Нагрузка на коллцентр , офис обслуживания Снижение уровня конверсии сервиса Влечет дополнительные процессы/ действия рабочей группы, других подразделений компании Отвечает на вопросы: Что происходит с пользователем? Какую задачу не может решить пользователь? В чем выражается отклонение от «золотого» пути? Должно быть: Конкретным, без абстрактных формулировок Отражает наблюдаемое поведение пользователя Раскрывает заголовок проблемы, а не просто дублирует его Проблема Описание Причина Влияние Рекомендации UsT - наблюдаемый на исследовании факт UsE - предположение о неверном взаимодействии человека и интерфейса Даются исследователем проводившим тестирование Обсуждаются и изменяются всей рабочей группой совместно с дизайнером Обязательны к выполнению ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 44. Как это выглядит в отчете… Показатели важности проблемыПроблема ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 45. 1. В причинах указывается почему пользователь совершил ошибку, а не его поведение 2. Формулировки должны быть конкретными. 3. Нужно раскрывать причины с иллюстрацией проблемных мест интерфейса: «цитаты» фраз, скриншоты 4. Из формулировки причины должно быть ясно – что исправлять 5. По каждой причине дается рекомендация по устранению, нумерация совпадает. Очень важно правильно понять причину проблемы… И ее влияние. И еще важно правильно всё описать! ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 46. Система позволяет узнать: • Что человек замечает и на что не обращает внимания? • В какой последовательности рассматривает элементы? • Сколько времени тратит на рассматривание каждого элемента? • Сколько времени проходит, прежде чем человек замечает значимый для восприятия рекламы элемент? Что такое eye tracking? Это технология слежения за взглядом пользователя при его работе с визуальными пользовательскими интерфейсами для анализа причин успешности / не успешности в восприятии информации с них. • Eye-tracking работает только в связке с классическими usability- тестами. • Eye-tracking не раскрывает отношение пользователей к тестируемым материалам • Eye-tracking расшифровывает природу эффективности / не эффективности визуальных решений Эффективность визуального носителя информации можно проверить, только посмотрев на него глазами пользователя… … и выяснив после этого, что же он увидел ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 47. Результаты, получаемые с Eye Tracker • Помогают лучше понять причины и природу проблем • «Слепые зоны» и другие нарушения в восприятии web-страниц и промо-материалов • Зрительные маршруты – путь движения глаз респондентов, маршрут, по которому он сканирует страницу в поисках необходимой информации • HeatMap – тепловые карты, показывают самые «популярные» места сайта • AOI – анализ сегментов интерфейса, зон интереса • Видеозапись – позволяет проработать полученный материал еще раз • Выгрузка данных позволяет наглядно показать заказчикам и рабочей группе проблемы в интерфейсе • Используются ТОЛЬКО в совокупности с другими методами Usability тестирования ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 48. Этапы проведения исследования  Проверка внедрения  Оценка изменений  Ю-чекаут  Формирование списка проблем  Повторные тесты Брифинг Сбор данных Анализ данных Отчет и презентация Подготовка Рекрутинг Чекаут и внедрение ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 49. Управление качеством наших тестов  Мы используем общепринятые, проверенные методы, адаптированные под специфику телекома  Мы следим за мировой практикой в нашей области  Мы используем самое современное и точное оборудование, существующее на рынке  Процесс тестов описан в процедурах, обязательных для всех исследователей  Качество и скорость тестов выше рыночных  Наши партнеры работают по нашим правилам  Мы продолжаем учиться ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 50. 1. Юзабилити-тест – НЕ маркетинговое исследование 2. Юзабилити-тест – НЕ предположение о действиях реальных пользователей (UsE) 3. Пользователи НЕ такие же как мы. • Мы предлагаем поработать с продуктом, а не поговорить о нем • Беспроблемную работу с продуктом невозможно имитировать • Нельзя предугадать действия и ошибки пользователей • Нельзя провести тестирование без участия пользователей • Для опроса мнений нужно гораздо больше людей, чем для тестов Три важных НЕ… ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 51. Попробуем?... ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 52. Новые методы исследований ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 53. ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 54. ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 55. ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 56. ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 57. ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 58. ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 59. ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 60. ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 61. ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 62. ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 63. ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 64. ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 65. ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 66. ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 67. ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 68. ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 69. ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов «Юзабилити исследования в Билайн». Автор: Правдин Михаил
  • 70. ОАО «Вымпелком» / Блок по цифровым коммуникациям с клиентом / Департамент проектирования пользовательских интерфейсов Спасибо Автор: Правдин Михаил По вопросам исследований: mpravdin@beeline.ru Дружить: fb.com/mikhail.pravdin