O documento discute como o portal Globo.com está revolucionando o uso de big data para personalizar a experiência do usuário. Ele recebe 3 bilhões de eventos diários de 50 milhões de usuários e usa algoritmos como collaborative filtering para fornecer recomendações personalizadas que aumentam o engajamento dos usuários. A cultura de dados da empresa usa ferramentas como Grafana e Jupyter para análise exploratória e descoberta de insights nos dados.

1. Big Data na globo.com
Como estamos revolucionando com dados o
maior portal do Brasil
@renan_oliveira

2. Como aprendemos
os interesses dos
usuários dado a
sua navegação

3. Números
• 3 bilhões de eventos diários
• 50 milhões de usuários únicos por mês
• +100 mil novos conteúdos por mês

5. Páginas
personalizadas são
mais atrativas para
os usuários

6. Social News

7. 0
4
8
12
16
1 2 3 4 5 6 7 8 9
14.72
15.81
10.06
7.55
5.59
4.05 4.28
5.37
13.07
3.04 3.06 3.01 2.93 2.92 3 2.85 3.02 3.13
AllVisits Social News Users
Métricas

10. Veracidade
Variedade
Valor
Velocidade
Volume

12. • Lambda: Streaming + Batch
• APIs com tempo de resposta em ms
• Ferramentas de analise de dados
• Map Reduce está morto :)
Arquitetura

14. Frentes de ação
• Recomendação
• Conhecimento sobre o usuário
• Plataforma de dados

17. 13.2%
feed editorial
Maior diversidade
feed recomendado
100%
*matérias que foram para o feed

18. *Dados extraídos em novembro de 2015

19. *Dados extraídos em novembro de 2015

20. Algoritmos
• Collaborative Filtering
• Content-Based
• ALS

25. Spreading Activation

26. *Quando usuário leu alguma matéria sobre seu time
teste off-line com 3.5M de usuários da base
82% deacerto
95% deacertonas3
primeirasposições
Qual o seu time?

27. teste com 500M de impressões
+48.1%
+48.4% comspreading
activation
deconversão
Resultado do teste A/B
*Dados extraídos em novembro de 2015

28. Data Culture

29. • Métricas por todo lado
• Cálculo de engajamento
• Business Intelligence
Saindo da fronteira da área

30. • Métricas das Aplicações
• Exploration and Visualization
• Data Discovery
Data…

31. • Métricas das Aplicações
• Exploration and Visualization
• Data Discovery
Data…
Grafana

32. • Métricas das Aplicações
• Exploration and Visualization
• Data Discovery
Data…
GrafanaJupyter

33. • Métricas das Aplicações
• Exploration and Visualization
• Data Discovery
Data…
GrafanaJupyter

35. Obrigado
renanoliveira.net