Алексей Воропаев Mail.Ru Group

1. Универсальная платформа для
рекомендаций Mail.ru Group
Алексей Воропаев, руководитель группы рекомендательных систем

2. «Парадоксальным образом изобилие
ассортимента товаров и услуг
ограничивает свободу нашего
выбора.»
Информации становится слишком много

3. Многие уже научились на этом зарабатывать
75% от 6.78ММ $
35% от 107ММ $

4. Зачем нам это?
51 М/мес
62 М/день
52 М/день
18 М/день
15 М/мес
3 М/мес
19 М/мес
11 М/мес
176 М установок
* число пользователей

5. Немного про данные
5 TB/сутки
+
100 GB/сутки
500 GB/сутки

6. Схема работы сервиса
Машинное
обучение Модели
Сервис
рекомендаций
Контекст
Offline Online

7. • Коллабаративная фильтрация
• Контентные рекомендации
• На основе свойств объектов
• На основе сообществ людей
• Гибридные системы
Основные подходы к рекомендациям
Recommender Systems Handbook

8. Коллабаративная фильтрация

9. Матричное разложение
4.5 2
4 3.5
5 2
3.5 4 1
1.5 1.2 1.0 0.8
1.7 0.6 1.1 0.4
1.2 0.8
1.4 0.9
1.5 1.0
1.2 0.8
Ratings Users Items
≈ *

10. Персональные ленты
http://go.mail.ru/ Amigo Android

11. Граф запрос-документ
Запрос 1
Запрос 2
Док. 1
Док. 2
Док. 3

12. Рекомендации видео VK

13. docskeywordsword2vec
Контентные рекомендации

14. National Geographic gallery
• На основе поиска
• Deep learning
Рекомендации на основе изображений

15. Гибридные модели
Модель 1
Модель 2
Модель N
Агрегирующая
модель рекомендации
обратная связь
...
Холодный
старт

16. Hadoop
18 PB HDD
40 TB RAM
HDFS
YARN
HBase
SparkMapreduce

17. Spark
HDFS
HDFS
HDFS HDFS
HDFS
Job 1 Job 2
Job 1 Job 2

18. A/B тесты

19. Спасибо
за внимание
http://go.mail.ru