9. A/B-тесты не про мгновенный
большой рост, а о том, как
разрешать сомнения
A/B-тесты не про мгновенный
большой рост, а о том, как
разрешать сомнения
A/B-тесты не про мгновенный
большой рост, а о том, как
разрешать сомнения
A/B-тесты не про мгновенный
большой рост, а о том, как
разрешать сомнения
A/B-тесты не про мгновенный
большой рост, а о том, как
разрешать сомнения
A/B-тесты не про мгновенный
большой рост, а о том, как
разрешать сомнения
A/B-тесты не про мгновенный
большой рост, а о том, как
разрешать сомнения
A/B-тесты не про мгновенный
большой рост, а о том, как
разрешать сомнения
A/B-тесты не про мгновенный
большой рост, а о том, как
разрешать сомнения
A/B-тесты не про мгновенный
большой рост, а о том, как
разрешать сомнения
A/B-тесты не про мгновенный
большой рост, а о том, как
разрешать сомнения
A/B-тесты не про мгновенный
большой рост, а о том, как
разрешать сомнения
A/B-тесты не про мгновенный
большой рост, а о том, как
разрешать сомнения
A/B-тесты не про мгновенный
большой рост, а о том, как
разрешать сомнения
A/B-тесты не про мгновенный
большой рост, а о том, как
разрешать сомнения
A/B-тесты не про мгновенный
большой рост, а о том, как
разрешать сомнения
A/B-тесты не про мгновенный
большой рост, а о том, как
разрешать сомнения
A/B-тесты не про мгновенный
большой рост, а о том, как
разрешать сомнения
A/B-тесты не про мгновенный
большой рост, а о том, как
разрешать сомнения
A/B-тесты не про мгновенный
большой рост, а о том, как
разрешать сомнения
A/B-тесты не про мгновенный
большой рост, а о том, как
разрешать сомнения
A/B-тесты не про мгновенный
большой рост, а о том, как
разрешать сомнения
A/B-тесты не про мгновенный
большой рост, а о том, как
разрешать сомнения
A/B-тесты не про мгновенный
большой рост, а о том, как
разрешать сомнения
21. ✦ Уберите согласования
простых деталей
темы в письмах, цвета, картинки и
т.д.
✦ Согласовывайте
сложные вещи
нарушение tone of voice, затрагивает
смежные отделы или даются
обязательства "всем покупателям
подарим 1 миллион рублей"
3. Свобода
22. 4. Матчасть
✦ Формулы с доверительными
интервалами
✦ Не больше 1 теста за раз
✦ Правильная гипотеза
✦ АА-тесты
23. 5. База знаний
Гипотеза Успешность Аудитория Варианты Новая
гипотеза
Эмодзи
повышают
open rate
письма Нет 18 — 25
лет
с эмодзи
и без
эмодзи
Не любой
эмодзи
работает. Нужен
эмодзи розового
цвета
24. Тесты успешны, а метрика не растет
— Ошибка в математике
— Больше АА-тестов
Тесты не запущены, не знаете, что
тестировать?
— Повторять уже запущенное ранее - это ок
— Тестировать "слишком мелкое изменение", "глупо
эмоциональное" ,"слишком сухое",... - это тоже ок
— Абстрагироваться от "самого адекватного" варианта
— Устроить брейншторм
Все тесты неуспешны
— У всех тестов есть гипотезы, которыми объясняется
неуспешность?
— По всем этим гипотезам запущены новые тесты?
Что может пойти не так
25. Крупный производитель с кучей
подрядчиков часто не понимал,
что случилось и кто виноват
Кейс
26. 1. Появились комфортная среда
2. Ушли согласования и появился креатив
3. Появилась прозрачность
Что дала система
28. 1. KPI
введите количество
кампаний и тестов
2. Регулярность
1 раз в месяц анализировать,
что запустили и как
повлияло
3. Свобода
уберите согласования простых и
мало-рискованных тестов
5. База знаний
копить базу знаний, постоянно
смотреть, что уже запускали
4. Матчасть
формулы с доверительными
интервалами и правильные гипотезы
Делайте A/B-тесты системно
29. В науке нет финишной черты. Когда
находишь ответ на один вопрос, тут же
возникает другой. Я никогда не считал, что
ответил на все вопросы. Потому-то
и продолжаю спрашивать у дрожжей.
ЁСИНОРИ ОСУМИ
Нобелевский лауреат 2016
30. Что почитать по матчасти
1. Чарльз Уилан. Голая статистика - про статистику на пальцах
2. Глантц. Медико-биологическая статистика (1999) — базовые
методы объясняются на простых примерах
3. Kanji. 100 statistical tests (2006) - большой удобный справочник,
какие статистики в каких случаях применять для проверки гипотез
3. http://www.evanmiller.org/ab-testing/sample-size.html - калькулятор