Hadoop se ha consolidado como una de las herramientas principales para procesamiento de altos volúmenes de información (Big Data). El rol de Hadoop en las empresas continua evolucionando optimizando la arquitectura de almacenamiento y procesamiento de datos, incrementando el performance y disminuyendo los costos. El participante aprenderá acerca del ecosistema de Hadoop, así como las funcionalidades básicas de HDFS y MapReduce. Además de, podremos explorar como usar Hive y Pig para el desarrollo rápido de procesamiento.

1. www.sgcampus.com.mx @sgcampus
www.sgcampus.com.mx
@sgcampus
Hector Cuesta
Introducción a BigData con Hadoop

2. www.sgcampus.com.mx @sgcampus
• Maestro en Ciencias de la Computación
• Autor del libro Practical Data Analysis
http://amzn.to/1k69HWn
• Estancia de Investigación en el Laboratorio de
Epidemiologia Computacional de la Universidad
del Norte de Texas (2011)
• Investigador Invitado en el SDSC 2012 Summer
Institute: Discover Big Data, Universidad de
California
• Revisor Técnico de los libros:
Raspberry Pi Networking Cookbook
Raspberry Pi Robotic Projects
Hadoop Operations and Cluster Management
Acerca del Ponente

3. www.sgcampus.com.mx @sgcampus
¿qué es big data?
“Cuando más es diferente”

4. www.sgcampus.com.mx @sgcampus
Adopción de big data

5. www.sgcampus.com.mx @sgcampus

6. www.sgcampus.com.mx @sgcampus

7. www.sgcampus.com.mx @sgcampus
Modelo clásico de
minería de datos

8. www.sgcampus.com.mx @sgcampus
Elementos del BigData

9. www.sgcampus.com.mx @sgcampus
3 V’s del BigData

10. www.sgcampus.com.mx @sgcampus
Velocidad

11. www.sgcampus.com.mx @sgcampus
Variedad

12. www.sgcampus.com.mx @sgcampus
Volumen

13. www.sgcampus.com.mx @sgcampus
Datos Crudos
Datos Limpios
Consultas y Reportes
OLAP –Reportes Ad-Hoc
Análisis Estadístico
Modelado Predictivo
Optimización
VentajaCompetitiva
Madurez Analítica
¿Qué paso?
¿Por que paso?
¿Qué va a pasar?
¿Que es lo mejor
que puede pasar?
Madurez Analítica

14. www.sgcampus.com.mx @sgcampus
Casos de uso del big data

15. www.sgcampus.com.mx @sgcampus
Introducción a Hadoop
Apache Hadoop es un framework desarrollado en Java y de
licencia libre que permite el desarrollo de aplicaciones
distribuidas con grandes cantidades de datos.

16. www.sgcampus.com.mx @sgcampus
Proceso de Hadoop
Flujo de proceso de Hadoop

17. www.sgcampus.com.mx @sgcampus
HDFS
• HDFS es un sistema de archivos distribuido, escalable y
portátil escrito en Java y creado especialmente para
trabajar con archivos de gran tamaño.
• Una de sus principales características es un tamaño de
bloque muy superior al habitual (100 MB) para no perder
tiempo en los accesos de lectura.
Sistema de Archivos que sigue el patrón
“Write once read many”

18. www.sgcampus.com.mx @sgcampus
Estructura de Almacenamiento
Tipos de Nodos:
• Namenode (JobTracker)
• Datanodes (TaskTracker)

19. www.sgcampus.com.mx @sgcampus
Introducción a MapReduce
MapReduce es un modelo de programación para
procesamiento distribuido y generación
de grandes sets de datos.

20. www.sgcampus.com.mx @sgcampus
MapReduce
Organizando Cartas

21. www.sgcampus.com.mx @sgcampus
Ecosistema de Hadoop

22. www.sgcampus.com.mx @sgcampus