ProductCamp Minsk 2016: https://productcamp.ru

1. Продуктовые метрики
Воробьев Илья
Яндекс.Почта

2. Начинайте с почему?

3. Как создавать правильные продукты?
Продуктовые метрики – способ понять
делаем ли мы хорошие или плохие
изменения в продукте с точки зрения
пользователей и бизнеса

4. НЕТ Gut feeling и HiPPO!

5. Что нужно делать? Какие метрики выбрать?
Жизненный цикл
пользователя
HEART
AARRR
Качество продукта
SLA
Сегментация

6. AARRR
Как пользователи находят вас?
Хороший ли у них первый опыт использования?
Возвращаются ли они?
Как вы зарабатываете?
Рассказывают ли они о вас другим?

7. AARRR

8. HEART

9. Счастье
Обычно собирается с помощью опроса (NPS)

10. Счастье: NPS

11. Вовлеченность
Примеры:
• Кол-во визитов на пользователя
• Кол-во написанных писем на пользователя
• Кол-во использований ключевой фичи

12. Adoption (усвоение)
На сколько хорошо новые пользователи или фичи усваиваются
Примеры:
• Кол-во апгрейдов до новой версии интерфейса
• % пользователей, которые используют новую фичу
• Кол-во новых пользователей

13. Ключ к adoption

14. Двигатель роста

15. Метрики качества (SLA)
SLA – Service Level Agreement
Примеры:
• % времени, когда работают ключевые фичи (доставка писем, открытие
интерфейса и т.д.)
• Скорость доставки письма (< 1 минуты для 99% пользователей)
• Скорость загрузки интерфейса (< 1 секунды для 99% пользователей)

16. Все равно не работает?!
Вот все сделали как вы говорили, A/B тесты начали… А все ровно что-то не то…
Метрики не красятся 

17. Синтетические метрики
A/B тесты должны краситься! Делаем искусственные метрики с
корреляцией на основные показатели.
Примеры:
• Absence Time v2 (ATv2) - взвешенное среднее логарифмов длин сессий и
логарифмов длин отсутствий
• Sessions per User v2 (SPUv2) - Берутся только пользователи, у которых
больше одной сессии. У оставшихся пользователей из числа сессий во время
эксперимента вычитается количество сессий предсказанное по поведению
пользователя за 2 недели до эксперимента

18. Не сотвори зло!
• Оптимизация локального максимума
• Нарушение, распад (другие метрики)
• Пример с FB (просто профиль и news feed)

19. Сегментация
• Среднее температура по больнице не работает
• Ключ к успеху в сегментации (искать разницу в факторах)
• Пример как в Почте делаем

20. Решения на основе данных
• Сломалась фича, постарадил 10к юзеров
• Это мало или много? Нужно этим заниматься? Не понятно
• Рассказать про то, как мы это решаем. По этим ID пользователей
мы можем сразу оценить просадку метрик за каждый момент
времени