Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Как Едадил навигацию менял
250 000 DAU 900 000 WAU
Информация по всемакциям офлайн магазинов в одном месте
ЧТО ТАКОЕ ЕДАДИЛ
КАКУЮ ЗАДАЧУ РЕШАЛИ
Начался лавинообразный рост
предложений
и товарных категорий
Пора подумать над
изменением структуры
да...
БЫЛО
ГОРИЗОНТАЛЬНО
БУДЕТ
ВЕРТИКАЛЬНО
ВЫБИРАЕМ ГИПОТЕЗУ ДЛЯ ПРОВЕРКИ
Всей команде
гипотеза кажется
разумной
Делаем прототип только
для 1 платформы
(Android)
Проводим коридорное
исследование
Запускаем закрытое
beta-тестирование
на ...
РЕЗУЛЬТАТЫ BETA-ТЕСТИРОВАНИЯ
Ключевая метрика продукта:
просматриваемость предложений на пользователя
(500 человек)
НОВАЯ ...
ТЕСТИРОВАНИЕ НОВОГО ИНТЕРФЕЙСА
Запускаем
тестирование на 20%
всех пользователей
Android
Через 2 недели
проводим опрос
тест...
Задали вопрос пользователям о том,
что они думают о последнем
обновлении приложения
БОЛЬШИНСТВУ ВСЕ НРАВИТСЯ!
РЕЗУЛЬТАТЫ О...
27 февраля
МОНИТОРИМ ОТЗЫВЫ В PLAY MARKET
В ДЕНЬ РЕЛИЗА КОЛИЧЕСТВО НЕГАТИВА ВОЗРОСЛО
Доля отрицательных отзывов в Play Mar...
МОНИТОРИМ ОТЗЫВЫ В PLAY MARKET
РЕЗУЛЬТАТЫ ТЕСТИРОВАНИЯ
Ключевая метрика продукта:
просматриваемость предложений на пользователя
(20% пользователей Androi...
СМОТРИМ НА RETENTION
Показатель retention rate сильно упал
НОВАЯ НАВИГАЦИЯ СТАРАЯ НАВИГАЦИЯ
Отзывы в Play Market
Ухудшение Retention Rate
Коридорное тестирование
Beta-тестирование
Положительный Feedback (опросы)
Ра...
В опросе принимали участие, как новые пользователи, не имеющие опыта
взаимодействия со старой навигацией, так и «Старички»...
К КАКИМ ВЫВОДАМ МЫ ПРИШЛИ
Для оценки и проверки гипотезы
была выбрана неправильная
ключевая метрика
1
Имея все необходимые...
Всегда смотрите на retention и churn
Измеряйте и анализируйте правильные когорты,
те которые помогут вам недвусмысленно от...
СПАСИБО ЗА ВНИМАНИЕ
Head of Product
Михаил Климин
Upcoming SlideShare
Loading in …5
×

Развитие Едадила (Наталья Шагарина, Яндекс)

598 views

Published on

ProductCamp Moscow 2016

Published in: Business
  • Login to see the comments

Развитие Едадила (Наталья Шагарина, Яндекс)

  1. 1. Как Едадил навигацию менял
  2. 2. 250 000 DAU 900 000 WAU Информация по всемакциям офлайн магазинов в одном месте ЧТО ТАКОЕ ЕДАДИЛ
  3. 3. КАКУЮ ЗАДАЧУ РЕШАЛИ Начался лавинообразный рост предложений и товарных категорий Пора подумать над изменением структуры данных и навигации в приложении Рост объема контента и отсутствие детализированного рубрикатора препятствуют формированию полноценного пользовательскогоопыта 15 категорий разрослись до 73, быстрый доступ к нужномуконтенту стал затруднителен
  4. 4. БЫЛО ГОРИЗОНТАЛЬНО БУДЕТ ВЕРТИКАЛЬНО ВЫБИРАЕМ ГИПОТЕЗУ ДЛЯ ПРОВЕРКИ Всей команде гипотеза кажется разумной
  5. 5. Делаем прототип только для 1 платформы (Android) Проводим коридорное исследование Запускаем закрытое beta-тестирование на 500 пользователей ТЕСТИРОВАНИЕ НОВОГО ИНТЕРФЕЙСА
  6. 6. РЕЗУЛЬТАТЫ BETA-ТЕСТИРОВАНИЯ Ключевая метрика продукта: просматриваемость предложений на пользователя (500 человек) НОВАЯ ВЕРСИЯ СТАРАЯ ВЕРСИЯ
  7. 7. ТЕСТИРОВАНИЕ НОВОГО ИНТЕРФЕЙСА Запускаем тестирование на 20% всех пользователей Android Через 2 недели проводим опрос тестируемой группы пользователей Оцениваем количество негативных отзывов в Play Market
  8. 8. Задали вопрос пользователям о том, что они думают о последнем обновлении приложения БОЛЬШИНСТВУ ВСЕ НРАВИТСЯ! РЕЗУЛЬТАТЫ ОПРОСА 22.1% 77,9% ДА, ПОНРАВИЛОСЬ НЕТ, НЕ ПОНРАВИЛОСЬ
  9. 9. 27 февраля МОНИТОРИМ ОТЗЫВЫ В PLAY MARKET В ДЕНЬ РЕЛИЗА КОЛИЧЕСТВО НЕГАТИВА ВОЗРОСЛО Доля отрицательных отзывов в Play Market
  10. 10. МОНИТОРИМ ОТЗЫВЫ В PLAY MARKET
  11. 11. РЕЗУЛЬТАТЫ ТЕСТИРОВАНИЯ Ключевая метрика продукта: просматриваемость предложений на пользователя (20% пользователей Android) ПРОСМОТРОВ СТАЛО БОЛЬШЕ! ОТЛИЧНО! НОВАЯ ВЕРСИЯ СТАРАЯ ВЕРСИЯ
  12. 12. СМОТРИМ НА RETENTION Показатель retention rate сильно упал НОВАЯ НАВИГАЦИЯ СТАРАЯ НАВИГАЦИЯ
  13. 13. Отзывы в Play Market Ухудшение Retention Rate Коридорное тестирование Beta-тестирование Положительный Feedback (опросы) Растет одна из ключевых метрик Почему так происходит? ПРЕДВАРИТЕЛЬНЫЙ АНАЛИЗ РЕЗУЛЬТАТОВ
  14. 14. В опросе принимали участие, как новые пользователи, не имеющие опыта взаимодействия со старой навигацией, так и «Старички», у которых он есть, при этом новых пользователей оказалось существенно больше ПОНРАВИЛОСЬ ЛИ ВАМ ПОСЛЕДНЕЕ ОБНОВЛЕНИЕ? ПОЛЬЗОВАТЕЛЕЙ НУЖНО РАЗЛИЧАТЬ 12.05% 55.06% 32.35% 13.65% 38.16% 48.16% МНЕ СЛОЖНО УВИДЕТЬ ВАЖНОЕ ДА, ТАК УДОБНЕЕ СМОТРЕТЬ НЕТ, ПРИХОДИТСЯ СЛИШКОМ МНОГО ЛИСТАТЬ СТАРЫЕ ПОЛЬЗОВАТЕЛИНОВЫЕ ПОЛЬЗОВАТЕЛИ
  15. 15. К КАКИМ ВЫВОДАМ МЫ ПРИШЛИ Для оценки и проверки гипотезы была выбрана неправильная ключевая метрика 1 Имея все необходимые инструменты для анализа - мы неправильно интерпретировали результаты 2 Рациональное тестирование функционала может не уловить «удовольствия» - на тестировочных приборах и кейсах его можно не увидеть В итоге: вернули прежнюю навигацию, проблемы UX решили другим способом, метрики выправились
  16. 16. Всегда смотрите на retention и churn Измеряйте и анализируйте правильные когорты, те которые помогут вам недвусмысленно ответить на конкретные вопросы Выводите и обосновывайте метрику, которая будет вам давать сигнал раньше, чем когортный анализ РЕКОМЕНДАЦИИ КОМАНДЫ
  17. 17. СПАСИБО ЗА ВНИМАНИЕ Head of Product Михаил Климин

×