ProductCamp Moscow 2016

1. Как Едадил навигацию менял

2. 250 000 DAU 900 000 WAU
Информация по всемакциям офлайн магазинов в одном месте
ЧТО ТАКОЕ ЕДАДИЛ

3. КАКУЮ ЗАДАЧУ РЕШАЛИ
Начался лавинообразный рост
предложений
и товарных категорий
Пора подумать над
изменением структуры
данных и навигации
в приложении
Рост объема контента и отсутствие детализированного
рубрикатора препятствуют формированию полноценного
пользовательскогоопыта
15 категорий разрослись до 73,
быстрый доступ
к нужномуконтенту стал
затруднителен

4. БЫЛО
ГОРИЗОНТАЛЬНО
БУДЕТ
ВЕРТИКАЛЬНО
ВЫБИРАЕМ ГИПОТЕЗУ ДЛЯ ПРОВЕРКИ
Всей команде
гипотеза кажется
разумной

5. Делаем прототип только
для 1 платформы
(Android)
Проводим коридорное
исследование
Запускаем закрытое
beta-тестирование
на 500 пользователей
ТЕСТИРОВАНИЕ НОВОГО ИНТЕРФЕЙСА

6. РЕЗУЛЬТАТЫ BETA-ТЕСТИРОВАНИЯ
Ключевая метрика продукта:
просматриваемость предложений на пользователя
(500 человек)
НОВАЯ ВЕРСИЯ СТАРАЯ ВЕРСИЯ

7. ТЕСТИРОВАНИЕ НОВОГО ИНТЕРФЕЙСА
Запускаем
тестирование на 20%
всех пользователей
Android
Через 2 недели
проводим опрос
тестируемой группы
пользователей
Оцениваем
количество
негативных отзывов
в Play Market

8. Задали вопрос пользователям о том,
что они думают о последнем
обновлении приложения
БОЛЬШИНСТВУ ВСЕ НРАВИТСЯ!
РЕЗУЛЬТАТЫ ОПРОСА
22.1%
77,9%
ДА, ПОНРАВИЛОСЬ
НЕТ, НЕ ПОНРАВИЛОСЬ

9. 27 февраля
МОНИТОРИМ ОТЗЫВЫ В PLAY MARKET
В ДЕНЬ РЕЛИЗА КОЛИЧЕСТВО НЕГАТИВА ВОЗРОСЛО
Доля отрицательных отзывов в Play Market

10. МОНИТОРИМ ОТЗЫВЫ В PLAY MARKET

11. РЕЗУЛЬТАТЫ ТЕСТИРОВАНИЯ
Ключевая метрика продукта:
просматриваемость предложений на пользователя
(20% пользователей Android)
ПРОСМОТРОВ СТАЛО БОЛЬШЕ! ОТЛИЧНО!
НОВАЯ ВЕРСИЯ СТАРАЯ ВЕРСИЯ

12. СМОТРИМ НА RETENTION
Показатель retention rate сильно упал
НОВАЯ НАВИГАЦИЯ СТАРАЯ НАВИГАЦИЯ

13. Отзывы в Play Market
Ухудшение Retention Rate
Коридорное тестирование
Beta-тестирование
Положительный Feedback (опросы)
Растет одна из ключевых метрик Почему так происходит?
ПРЕДВАРИТЕЛЬНЫЙ АНАЛИЗ РЕЗУЛЬТАТОВ

14. В опросе принимали участие, как новые пользователи, не имеющие опыта
взаимодействия со старой навигацией, так и «Старички», у которых он есть,
при этом новых пользователей оказалось существенно больше
ПОНРАВИЛОСЬ ЛИ ВАМ ПОСЛЕДНЕЕ ОБНОВЛЕНИЕ?
ПОЛЬЗОВАТЕЛЕЙ НУЖНО РАЗЛИЧАТЬ
12.05%
55.06%
32.35%
13.65%
38.16%
48.16%
МНЕ СЛОЖНО УВИДЕТЬ ВАЖНОЕ ДА, ТАК УДОБНЕЕ СМОТРЕТЬ НЕТ, ПРИХОДИТСЯ СЛИШКОМ МНОГО ЛИСТАТЬ
СТАРЫЕ ПОЛЬЗОВАТЕЛИНОВЫЕ ПОЛЬЗОВАТЕЛИ

15. К КАКИМ ВЫВОДАМ МЫ ПРИШЛИ
Для оценки и проверки гипотезы
была выбрана неправильная
ключевая метрика
1
Имея все необходимые
инструменты для анализа - мы
неправильно интерпретировали
результаты
2
Рациональное тестирование функционала может
не уловить «удовольствия» - на тестировочных приборах
и кейсах его можно не увидеть
В итоге: вернули прежнюю навигацию,
проблемы UX решили другим способом,
метрики выправились

16. Всегда смотрите на retention и churn
Измеряйте и анализируйте правильные когорты,
те которые помогут вам недвусмысленно ответить
на конкретные вопросы
Выводите и обосновывайте метрику,
которая будет вам давать сигнал раньше,
чем когортный анализ
РЕКОМЕНДАЦИИ КОМАНДЫ

17. СПАСИБО ЗА ВНИМАНИЕ
Head of Product
Михаил Климин