BigData se refiere a las herramientas para manipular, gestionar y analizar grandes volúmenes de datos de diversos tipos. El documento describe cómo el aumento de usuarios de Internet y la disminución de costos de almacenamiento llevaron a un crecimiento exponencial de datos, haciendo que las empresas se enfocaran en BigData para mejorar la experiencia del usuario, hacer predicciones, personalizar productos y comprender mejor el negocio. También resume las tecnologías clave de procesamiento como MapReduce, Hadoop, Spark y Storm.

1. Introducción a BigData
Universidad de Palermo 2015

2. Gabriel Eisbruch
Developer | Arquitecto | Data Nerd
gabrieleisbruch@gmail.com
@geisbruch

3. Que es BigData?

4. “

5. “Conjunto de herramientas destinadas a la
manipulación, gestión y análisis de
grandes volúmenes de datos y de tipos
variados

6. Entonces…
que son Grandes
Volúmenes de
Datos?

7. ~455 PBEn todo su potencial
40000 NodosCluster mas grande 4500

8. 113 Veces

9. 30+ PBSon 61400 notebooks
2000+ Nodos

10. 3.1 PBSon 100000 IPhones
180 Nodos
~ 4300 Cpu’s

11. Algo de Historia

12. Algo de
Historia
Aparición de
Internet
1995

13. Algo de
Historia
Aparición de
Internet
1995
Internet Boom
1998

14. Algo de
Historia
Aparición de
Internet
1995
Internet Boom
1998
Google Map
Reduce
2004

15. Algo de
Historia
Aparición de
Internet
1995
Internet Boom
1998
Google Map
Reduce
2004
Hadoop
2005

16. Algo de
Historia
Aparición de
Internet
1995
Internet Boom
1998
Google Map
Reduce
2004
Hadoop
2005
Netflix Prize
2009

17. Algo de
Historia
Aparición de
Internet
1995
Internet Boom
1998
Google Map
Reduce
2004
Hadoop
2005
Netflix Prize
2009
Nuevos
paradigmas e
IOT
2011 -> Hoy

18. Cuales fueron los FACTORES que ayudaron a este crecimiento?

19. Cuales fueron los FACTORES que ayudaron a este crecimiento?
Incremento de Usuarios e
información
Al aumentar la cantidad de
usuarios de internet y la
cantidad de acciones que
estos realizan sobre la web,
hubo una explosión de
información disponible que
no se estaba capitalizando

20. Cuales fueron los FACTORES que ayudaron a este crecimiento?
Incremento de Usuarios e
información
Al aumentar la cantidad de
usuarios de internet y la
cantidad de acciones que
estos realizan sobre la web,
hubo una explosión de
información disponible que
no se estaba capitalizando
Disminución de costos
Los costos de la tecnología
tienden usualmente a bajar,
en particular la disminución
de costos de
almacenamiento y
procesamiento impulsó a
BigData

21. Cuales fueron los FACTORES que ayudaron a este crecimiento?

22. Cuales fueron los FACTORES que ayudaron a este crecimiento?
Year
Average Cost Per
Gigabyte
2014 $0.03
2013 $0.05
2010 $0.09
2005 $1.24
2000 $11.00

23. Porque se volvio esto tan relevante para las Empresas?

24. Experiencia de usuario
Entender mejor al usuario
ayudar a mejorar las
experiencias de estos en las
empresas
Porque se volvio esto tan relevante para las Empresas?

25. Experiencia de usuario
Entender mejor al usuario
ayudar a mejorar las
experiencias de estos en las
empresas
Porque se volvio esto tan relevante para las Empresas?
Predicción
El aumento de los volúmenes
de datos y procesamientos
ayuda a las empresas a poder
hacer más y mejores
predicciones

26. Experiencia de usuario
Entender mejor al usuario
ayudar a mejorar las
experiencias de estos en las
empresas
Porque se volvio esto tan relevante para las Empresas?
Predicción
El aumento de los volúmenes
de datos y procesamientos
ayuda a las empresas a poder
hacer más y mejores
predicciones
Nuevos Mercados
Bigdata a generado nuevas
oportunidades y con esto
nuevos mercados para
empresas existentes o nuevas

27. Experiencia de usuario
Entender mejor al usuario
ayudar a mejorar las
experiencias de estos en las
empresas
Porque se volvio esto tan relevante para las Empresas?
Predicción
El aumento de los volúmenes
de datos y procesamientos
ayuda a las empresas a poder
hacer más y mejores
predicciones
Nuevos Mercados
Bigdata a generado nuevas
oportunidades y con esto
nuevos mercados para
empresas existentes o nuevas
Personalización
Ahora se puede lograr
personalizar mucho más los
productos basado en la
experiencia de los clientes de
una empresa

28. Experiencia de usuario
Entender mejor al usuario
ayudar a mejorar las
experiencias de estos en las
empresas
Porque se volvio esto tan relevante para las Empresas?
Predicción
El aumento de los volúmenes
de datos y procesamientos
ayuda a las empresas a poder
hacer más y mejores
predicciones
Nuevos Mercados
Bigdata a generado nuevas
oportunidades y con esto
nuevos mercados para
empresas existentes o nuevas
Personalización
Ahora se puede lograr
personalizar mucho más los
productos basado en la
experiencia de los clientes de
una empresa
Mejor comprensión del
negocio
Entender el negocio de la
compañía con la mayor
claridad posible es una clara
ventaja competitiva de las
organizaciones

29. Experiencia de usuario
Entender mejor al usuario
ayudar a mejorar las
experiencias de estos en las
empresas
Porque se volvio esto tan relevante para las Empresas?
Predicción
El aumento de los volúmenes
de datos y procesamientos
ayuda a las empresas a poder
hacer más y mejores
predicciones
Nuevos Mercados
Bigdata a generado nuevas
oportunidades y con esto
nuevos mercados para
empresas existentes o nuevas
Personalización
Ahora se puede lograr
personalizar mucho más los
productos basado en la
experiencia de los clientes de
una empresa
Mejor comprensión del
negocio
Entender el negocio de la
compañía con la mayor
claridad posible es una clara
ventaja competitiva de las
organizaciones
Surgimiento de “Data Lakes”
Las empresas ahora pueden
guardar información que a
priori no es importante para
que esté disponible en futuros
procesamientos

30. Porque se volvio esto tan relevante para las Empresas?

31. Porque se volvio esto tan relevante para las Empresas?

32. Porque se volvio esto tan relevante para las Empresas?

33. Porque se volvio esto tan relevante para las Empresas?

34. Cuál fue el
cambio
Tecnológico ?

47. Framework MapReduce
Paper publicado por google en
2004 que sentó las bases para
poder generar procesamiento
en paralelo de forma simple

48. MapReduce se basa en la estrategia de dividir y conquistar

49. MapReduce se basa en la estrategia de dividir y conquistar
Data

50. MapReduce se basa en la estrategia de dividir y conquistar
Data Map

51. MapReduce se basa en la estrategia de dividir y conquistar
Data Map
Candidato 1 -> 1
Candidato 2 -> 1
Candidato 1 -> 1
Candidato 4 -> 1
Candidato 1 -> 1
Candidato 4 -> 1
Candidato 4 -> 1
.
.
.

52. MapReduce se basa en la estrategia de dividir y conquistar
Candidato 1 = 100
Candidato 2 = 130
Candidato 3 = 200
Candidato 4 = 330
Data Map Reduce

53. Tecnologías de BigData a
nuestra disposición

54. ASPECTOS A
TENER EN
CUENTA

55. ASPECTOS A
TENER EN
CUENTA
Procesamiento

56. ASPECTOS A
TENER EN
CUENTA
Procesamiento
Almacenamiento

57. ASPECTOS A
TENER EN
CUENTA
Procesamiento
Tiempo
Almacenamiento

59. Almacenamiento
Distribuido
Hadoop HDFS brinda la
posibilidad de almacenar
archivos en forma
distribuida y redundante

60. Almacenamiento
Distribuido
Hadoop HDFS brinda la
posibilidad de almacenar
archivos en forma
distribuida y redundante
Procesamiento
Distribuido
Hadoop MapReduce
implementa la teoría de
mapreduce para poder dar
una forma simple de
procesar de forma
distribuida los datos
almacenados

61. Entorno
Sobre hadoop se han
formado construido
distintas herramientas que
permiten explotar explotar
nuevos dominios de los
datos y simplificar los
accesos
Almacenamiento
Distribuido
Hadoop HDFS brinda la
posibilidad de almacenar
archivos en forma
distribuida y redundante
Procesamiento
Distribuido
Hadoop MapReduce
implementa la teoría de
mapreduce para poder dar
una forma simple de
procesar de forma
distribuida los datos
almacenados

63. Simple Streaming
Storm está diseñado para
permitir procesar datos en
streaming de forma
distribuida liberando al
desarrollador de las
complejidades
subyacentes

64. Simple Streaming
Storm está diseñado para
permitir procesar datos en
streaming de forma
distribuida liberando al
desarrollador de las
complejidades
subyacentes
Arquitecturas Lambda
El creador de storm creó el
concepto conocido como
arquitectura lambda, que
tiene por concepto poder
trabajar con datos en
realtime y batch en forma
combinada y veloz de
forma escalable y tolerante
a fallas

65. Integración
Storm es una capa de
procesamiento muy
potente diseñada para
poder integrarse con
diversos sub-sistemas,
entre ellos sistemas de
queue streaming y hadoop
Simple Streaming
Storm está diseñado para
permitir procesar datos en
streaming de forma
distribuida liberando al
desarrollador de las
complejidades
subyacentes
Arquitecturas Lambda
El creador de storm creó el
concepto conocido como
arquitectura lambda, que
tiene por concepto poder
trabajar con datos en
realtime y batch en forma
combinada y veloz de
forma escalable y tolerante
a fallas

67. Simplicidad
Spark trae con sigo un
nuevo modelo de consultar
la información el cual
permite simplificar y
acelerar los
procesamientos que
usualmente llevan varias
etapas, haciendo esto en
un lenguaje simplificado

68. Hadoop
Spark se integra de forma
efectiva con el sistema de
almacenamiento de
hadoop y con el sistema
YARN de distribución de
tareas de hadoop
Simplicidad
Spark trae con sigo un
nuevo modelo de consultar
la información el cual
permite simplificar y
acelerar los
procesamientos que
usualmente llevan varias
etapas, haciendo esto en
un lenguaje simplificado

69. Streaming
Spark permite con el
mismo lenguaje que se
procesa información en
batch procesar datos en
streaming, separando para
esto la información
entrante en pequeños
“bloques”
Hadoop
Spark se integra de forma
efectiva con el sistema de
almacenamiento de
hadoop y con el sistema
YARN de distribución de
tareas de hadoop
Simplicidad
Spark trae con sigo un
nuevo modelo de consultar
la información el cual
permite simplificar y
acelerar los
procesamientos que
usualmente llevan varias
etapas, haciendo esto en
un lenguaje simplificado