El documento proporciona una introducción al Big Data, definiéndolo como grandes conjuntos de datos que son difíciles de procesar con herramientas de base de datos tradicionales debido a su volumen, velocidad y variedad. Explica las 3V del Big Data y provee ejemplos de la generación masiva de datos. También describe herramientas como Hadoop, MapReduce, HDFS y soluciones NoSQL, así como áreas de aplicación como marketing, análisis de clientes e investigación médica. Finalmente, destaca los valores y oportun

1. Big Data
Valor y Mercado
Óscar Marín Miró
@outliers_es
www.outliers.es

2. Contenidos
‣Historia
‣Las 3V’s
‣Problema, Solución y Fenómeno
¿Qué es Big Data? Pitfalls
‣Data vs Big Data
‣Data Science vs Big Data
‣Costes ocultos
Herramientas
+Escenarios
‣Ecosistema Hadoop
‣NoSQL
‣Real-time
Valor del Big Data
‣Los Gigantes de la Generación de Datos
‣Nadamos en un mar de datos
‣Sectores de Aplicación
Bibliografía

3. ¿Qué es el Big Data?
“Data will help us” - Jonathan Harris

4. Historiahttp://assets.outliers.es/infographics/BigData_A_Brief_History.pdf

5. “Big Data is a collection of data sets so large
and complex that it becomes difficult to
process using on-hand database management
tools or traditional data processing
applications”
http://en.wikipedia.org/wiki/Big_data
¿Qué es el Big Data?

6. - Big Data y las 3 ‘V’
- Velocidad
- Volumen
- Variedad
http://blogs.gartner.com/doug-laney/files/2012/01/ad949-3D-Data-Management-Controlling-Data-
Volume-Velocity-and-Variety.pdf
¿Qué es el Big Data?

7. - Twitter: 340 millones de
tweets diarios (~= 1TB/día)
- Facebook: 800 millones de
status diarios
- Google: 1000 millones de
consultas diarias
http://www.slideshare.net/gigaom/the-3vs-of-big-data-variety-velocity-
and-volume-from-structuredata-2012
¿Qué es el Big Data? (de verdad)

8. Explosión de Uso Explosión Social
Explosión Móvil
¿Qué es el Big Data? (de verdad)

9. Big Data: Dimensiones
‣Problema: 3V’s
‣Solución: Herramientas
‣Fenómeno: Posibilidades

10. ElValor de Big Data
http://labratrevenge.com/pdx

11. http://7.mshcdn.com/wp-content/uploads/2012/06/DataNeverSleeps.jpg
ElValordeBigData

12. ElValor de Big Data:
Big Data Analysis
‣Estadístico
‣Texto
‣Análisis de Redes Sociales
‣Análisis GeoEspacial

13. ElValor de Big Data:
Ámbitos de Aplicación
‣Marketing/Publicidad/Comunicación
‣Customer Insights
‣Growth Hacking
‣Salud
‣Escalabilidad

14. ElValor de Big Data:
Publicidad
https://de5w14y12gh72.cloudfront.net/website/bluefin_mit-tech-review.pdf

15. ElValor de Big Data:
Customer Insights
http://innovabbva.outliers.es/mapas.html

16. ElValor de Big Data:
Location Analytics
https://meraki.cisco.com/

17. ElValor de Big Data:
Growth Hacking
‣Impactos de tests A/B
‣Incrementar el Retention Rate
‣Incrementar los leads
‣Incremental el engagement

18. ElValor de Big Data:
Growth Hacking
https://www.youtube.com/watch?v=eqeS8US10_k

19. ElValor de Big Data:
Salud
https://www.23andme.com/ancestry/

20. ElValor de Big Data:
Publicidad
http://blog.marketo.com/2013/09/get-more-email-opens-and-clicks-using-behavioral-targeting.html

21. ElValor de Big Data
Escalabilidad
http://www.slideshare.net/davidpoblador/spotify-bcn2013slideshare

22. ElValor de Big Data
Antropología
http://www.brainpickings.org/index.php/2014/01/17/uncharted-big-data/
http://www.ted.com/talks/what_we_learned_from_5_million_books.html

23. ElValor de Big Data
Urbanismo
http://bcnbeats.com

24. ElValor de Big Data
Urbanismo
http://bcnbeats.com

25. ElValor de Big Data
Urbanismo
http://bcnbeats.com

26. Big Data Pitfalls

27. Big Data vs Data
‣Big Data ~= MB/s o volúmenes de TB
‣El 90% de los trabajos hablan de Big Data y
quieren decir Data
‣No es lo mismo coger datos de Twitter
que ser Twitter
‣Se confunde el fenómeno con el problema

28. Data Science vs Big Data
‣Técnicamente:
‣Data Science crea modelos
‣Big Data provee de infraestructura
‣En la práctica:
‣Si creas un modelo a partir de una
muestra de Big Data haces Big Data
‣Los perfiles son COMPLETAMENTE
diferentes!!
‣Big Data sin Data Science no es NADA

29. Big Data: Costes Ocultos
‣Computer Science First, Big Data Second!!
‣Probar en muestras significativas, SIEMPRE
‣Llegar hasta la presentación de los datos
con la muestra, lo más rápido posible
‣Funcionar con hipótesis

30. Herramientas

31. ¿Qué es un Cluster Hadoop?
Un conjunto de servidores (nodos), sobre el que se
ejecutan procesos MapReduce y que comparten
datos mediante HDFS (Hadoop Distributed File
System
El ecosistema Hadoop

32. MAPREDUCE: Divide y vencerás
MAP:
Función de procesado.
Los datos se particionan y se pasa cada ‘trozo’ a una función ‘map’
La función ‘map’ es sin estado
REDUCE
Función de reducción
La salida del map es la entrada del reduce
Se usa para consolidar y eliminar redundancias
Ecosistema Hadoop

33. MAPREDUCE: Contar las palabras de
un fichero
MAP:
< Hello, 1>
< World, 1>
< Bye, 1>
< World, 1>
REDUCE:
< Hello, 1>
< World, 2>
< Bye, 1>
Ecosistema Hadoop

34. MAPREDUCE: Control
‣ Se ejecutan ‘jobs’ que el framework divide
en ‘tasks’
‣ Master JobTracker
‣ TaskTracker por nodo
Ecosistema Hadoop

35. HDFS
‣ Implementa un único sistema de ficheros
‘juntando las capacidades’ de todos los
nodos
‣ Es transparente para el programador
‣ Se implementa tolerancia a fallos con nodos
de ‘backup’
Ecosistema Hadoop

36. HDFS
http://codemphasis.wordpress.com/2012/09/27/big-data-hadoop-hdfs-
and-mapreduce/
Ecosistema Hadoop

37. http://oreilly.com/data/radarreports/planning-for-big-data.csp
Ecosistema Hadoop

38. VS
Soluciones NoSQL

39. Soluciones NoSQL: MongoDB

40. Problemas de las BBDD
relacionales
‣ Leer datos completos es costoso (‘joins’)
‣ Transacciones (‘integridad’)
‣ Escalabilidad
‣ Cambio del modelo de datos (migraciones)

41. Soluciones NoSQL
‣ Almacenes clave-valor (Redis, BerkeleyDB,
Tokyo Cabinet)
‣ Orientadas a documento (MongoDB,
CouchDB, ElasticSearch, Solr)
‣ Orientadas a columnas (Cassandra, HBase,
BigTable)

42. NoSQL: Elasticsearch
http://www.elasticsearch.org/

43. NoSQL: Elasticsearch
http://www.elasticsearch.org/overview/kibana/

44. Big Data: Streaming
TwitterGet
GetSentiment
GetInfluence
Index
in out
outin
out
in

45. Big Data: Spark
‣ Procesado en memoria (x100 faster)
‣ Data pipe-lines (streaming)
‣ APIs: Java, Scala, Python (2-5 menos código)
‣ El proyecto más activo del ecosistema
Hadoop
‣ “Data-sharing”
‣ “Big Data Unifier”

46. Big Data: Spark

47. Hadoop vs Spark

48. Real-time processing
‣ Batch vs Real-time
‣ Hadoop anclado en Java
‣ Spark (Scala)
‣ Storm (Clojure)
http://www.ibm.com/developerworks/library/os-spark/#resources

49. Outliers Collective: Nuestras
Herramientas
‣ Visualización: D3.js
‣ Análisis:
‣ Texto: Python + Pattern
‣ Redes: Networkx + Gephi
‣ Estadística: R
‣ Persistencia: MongoDB, ElasticSearch

50. Trabajos y ejemplos

51. Profile mining
‘Podemos’ fanbase affiliation
https://medium.com/@outliers/mineria-de-perfiles-politicos-en-twitter-19972efaf309

52. Profile mining
PSOE fanbase affiliation
https://medium.com/@outliers/mineria-de-perfiles-politicos-en-twitter-19972efaf309

53. Profile mining
‘Podemos’ fanbase jobs
https://medium.com/@outliers/mineria-de-perfiles-politicos-en-twitter-19972efaf309

54. Profile mining
‘PP’ fanbase jobs
https://medium.com/@outliers/mineria-de-perfiles-politicos-en-twitter-19972efaf309

55. http://elpais.com/especiales/2014/planeta-futuro/mapa-de-migraciones/
Outliers Collective+ProdigiosoVolcán, 2014

56. http://www.324.cat/eleccions-catalunya-2012/tuitometre
Outliers Collective, 2012

57. http://www.lainformacion.com/
En Paradigma Tecnológico, 2008

58. Outliers Collective yYolanda Quintana, 2013
http://viralgezi.outliers.es/

59. Outliers Collective,Alberto González Paje, Rafael Höhr, 2013
http://innovabbva.outliers.es/

60. #LoQueCrece-@pentagrowth: IdeasForChange + Outliers Collective

61. http://flocker.outliers.es
Outliers Collective, 2013

62. http://assets.outliers.es/SocialGood/
Outliers Collective + Alberto González, 2013

63. http://vimeo.com/71084828
http://bcnbeats.outliers.es/
Outliers Collective + Telenoika + Rocío Márquez + Patricia Benitez + Alberto González, 2013

64. Referencias
http://www.goodreads.com/shelf/show/big-data

65. ¿Preguntas?
¡Gracias por el interés!