Кейс: простейшая персонализация увеличивает конверсию в покупки от SMS-рассылки в два раза и делает ее прибыльной.

1. А/Б тест SMS-рассылок
для обувной сети
ИЮЛЬ 2015
www.mindbox.ru

2. • Обувная сеть собрала много мобильных телефонов покупателей
• Единственное использование – эпизодический спам обобщенными
предложениями
• Главный критерий выбора рассылки - «поменьше бы денег потратить»
Результат?
Дорого, неэффективно, масса жалоб = не работает
Что болит?

3. • Сделать SMS-рассылку, которая принесет прибыль
• Показать маркетингу сети пользу от тестов и работы над деталями
• В случае успеха - получить контракт :)
Что хотим?

4. А/Б тест разных сообщений - как это работает?
Группа 1: 100 человек
Группа 2: 100 человек
Группа 3: 100 человек
Берем группы из
похожих покупателей*
Шлем сообщение №1
Шлем сообщение №2
Ничего не шлем
(контроль)
Совершили 5 покупок
Совершили 20 покупок
Совершили 6 покупок
Шлем сообщения
Сравниваем количество
покупок и думаем
(только участники программы лояльности, чтобы можно было отследить количество покупок)
1 2 3

5. 16 000 покупателей, выбранных случайно
разделили на 4 однородные группы
Тестовая
группа 1
Отправим сообщение:
Тестовая
группа 2
Тестовая
группа 3
Контрольная
группа
Ничего не отправляем
Эта группа будет отражать
естественное поведение
покупателей - тех, которые
не получили никаких
рассылок.
«Скидки до 50% на
летнюю коллекцию в
салонах [****]! Приятных
покупок!»
Отправим сообщение:
«Светлана, для Вас
действуют скидки до 50%
на летнюю коллекцию в
салонах обуви [****]
Адрес ближайшего
магазина выбирайте на
сайте [****]»
«Светлана, весь месяц для
Вас действуют скидки до
50% на летнюю коллекцию
в салонах обуви [****].
Порадуйте себя и близких
приятными покупками!
Адрес ближайшего
магазина выбирайте на
сайте [****]»
Отправим сообщение:

6. надо убедиться, что во всех группах люди
«одинаковые» (группы однородны)
иначе результатам нельзя будет верить
Важно:

7. Группы схожи по полу и возрасту
Контрольная Тестовая 1 Тестовая 2 Тестовая 3
83 %84 %82 %83 %
17 %16 %17 %16 %
мужчины женщины неизвестно
Контрольная Тестовая 1 Тестовая 2 Тестовая 3
13 %11 %13 %11 %
34 %36 %35 %34 %
40 %39 %39 %41 %
13 %14 %14 %14 %
до 25 от 26 до 35 от 36 до 50 больше 50
Смотрим раз:

8. … и по покупательскому поведению до рассылки
Контрольная Тестовая 1 Тестовая 2 Тестовая 3
66 %67 %65 %67 %
21 %20 %22 %22 %
13 %12 %13 %12 %
до 6 месяцев от 7 до 15 месяцев больше 15 месяцев
Давность последней покупки
Средний
чек
Среднее
количество
Контрольная 6900 2
Тестовая 1 7100 2
Тестовая 2 7300 2
Тестовая3 7100 2
Смотрим два:

9. Группы для тестов – однородны.
Значит результаты
можно сравнивать
- Окей, все в порядке, делаем рассылку!

10. Процент покупателей, которые после рассылки
совершили покупку в тестовых группах
0,5% 0,6%
1,1%
0,6%
Контрольная Тестовая 1 Тестовая 2 Тестовая 3
Выглядит
многообещающе!

11. Если разослать такие сообщения по всей БД, то результаты будут отличаться:
надо рассчитать доверительные интервалы
Сравниваем интервалы. Если сильно пересекаются - то отличий нет
0,8%
0,9%
1,5%
0,9%
0,3%
0,4%
0,8%
0,4%
0,5% 0,6%
1,1%
0,6%
Контрольная Тестовая 1 Тестовая 2 Тестовая 3

12. Вторая рассылка принесла значимо
больше покупателей, чем пришло
самостоятельно в контрольной
группе .
Она принесла деньги.
Первая и третья рассылки принесли
столько же покупателей, сколько
пришло в контрольной группе
самостоятельно.
Они убыточны:
не принесли дополнительных продаж
0,8%
0,9%
1,5%
0,9%
0,3%
0,4%
0,8%
0,4%
0,5% 0,6%
1,1%
0,6%
Контрольная Тестовая 1 Тестовая 2 Тестовая 3

13. ?
«Светлана, для Вас действуют
скидки до 50% на летнюю
коллекцию в салонах обуви
[****]. Адрес ближайшего
магазина выбирайте на сайте
[****]»
Почему похожие рассылки привели к разным результатам?
«Светлана, весь месяц для Вас
действуют скидки до 50% на
летнюю коллекцию в салонах
обуви [****]. Порадуйте себя и
близких приятными покупками!
Адрес ближайшего магазина
выбирайте на сайте [****]»
vs

14. Но можно предположить, что покупатели восприняли фразу «весь
месяц», как повод не очень торопиться с покупкой
Из-за этой неосторожности мы получили некорректные данные по этой
рассылке и придется исключить ее из дальнейшего рассмотрения.
Покупателям не понравилось длинное
сообщение?
Может быть, фраза «Порадуйте себя и
близких приятными покупками!» кажется
потребителям неискренней?
Фаза луны?
НЕ ЗНАЕМ
(хорошая идея - сделать опрос)

15. «Скидки до 50% на
летнюю коллекцию
в салонах [****]!
Приятных покупок!»
«Светлана, для Вас
действуют скидки до 50%
на летнюю коллекцию в
салонах обуви [****].
Адрес ближайшего
магазина выбирайте на
сайте [****]»
Если отправить сообщение, посчитать чистую прибыль, то итог будет лежать в диапазоне
Из процента купивших
вычесть процент
контрольной группы,
у оставшихся посчитать
суммарную маржу
покупок,
вычесть затраты на
рассылку
Рассчитаем денежный эффект для базы в 100 000 потребителей
-430 тыс. руб. +360 тыс. руб.
+33 тыс. руб. +1 010 тыс. руб.
Наиболее ожидаемое
значение
-35 тыс. руб.
Наиболее ожидаемое
значение
+ 490 тыс. руб.

16. «Скидки до 50% на
летнюю коллекцию
в салонах [****]!
Приятных покупок!»
«Светлана, для Вас
действуют скидки до 50%
на летнюю коллекцию в
салонах обуви [****].
Адрес ближайшего
магазина выбирайте на
сайте [****]»
-430 тыс. руб. +360 тыс. руб.
Наиболее ожидаемое
значение
-35 тыс. руб.
+33 тыс. руб. +1 010 тыс. руб.
Наиболее ожидаемое
значение
+ 490 тыс. руб.
Рассылка не окупит затраты
Рассылка окупится и
принесет прибыль
Длинное дорогое сообщение прибыльно,
а короткое дешевое - убыточно
СЮРПРИИИЗ:

17. Резюмируя
• SMS-рассылки могут приносить деньги. Размер прибыли можно
увеличивать, но для этого нужны тесты и внимание к деталям
• Короткое дешевое сообщение может быть убыточно, а длинное и
дорогое – прибыльно

18. www.mindbox.ru
Иван Боровиков
+7 903 724 08 88
ibg@mindbox.ru
Кейсы c деталями, презентации и доклады - на нашем канале в Slideshare или по почте.
Обращайтесь к нам, если хотите,
чтобы ваш маркетинг работал
СПАСИБО!