Big Data – La revolución de los datos

1. Big Data –La revolución de los datos
John Alexander Bulla Torres
SQL Server MVP
Microsoft Azure

2. Big Data Insights
@johnbulla
bit.ly/johnbulla
linkedin.com/in/johnbulla

3. Agenda
¿Por que Big Data?
Conceptos Básicos
Microsoft y Hadoop

4. ¿Por que Big Data?
Microsoft Azure

5. Tendencias Claves
Microsoft Azure

6. Big Data –La revolución en los datos
6
Los datosdigitalescrecerán40xpróximadécada
En 2015, serviciosde nubepúblicatendrán46% de crecimientonetoen gastode ti
Microsoft Azure

9. Big Data analytics
Microsoft Azure

10. ¿Qué es Big Data?
"Big data" es un término aplicado a conjuntos de datos que superan la capacidad del software habitual para ser capturados, gestionados y procesados en un tiempo razonable.
Microsoft Azure

11. ¿Qué es Big Data?
Big data es una colección de conjuntos de datos tan grande y complejo que se vuelve difícil para trabajar con el uso de herramientas de gestión de base de datos tradicionales. Las dificultades incluyen la captura, almacenamiento, búsqueda, intercambio, análisis y visualización.
Fuente: Eduardo Castro MVP –SQL Saturday #247 Bogotá
Microsoft Azure

12. ¿Qué es Big Data?
Big Data: “ Barreras para que una organización o equipo puedan almacenar, procesar y acceder todos los datos que necesitan para operar con eficiencia, tomar decisiones, reducir riesgos, etc.”
Fuente: SolidQ
Microsoft Azure

13. ¿Qué es Big Data?
Volumen
Velocidad
Variedad
Variabilidad
Microsoft Azure

14. Internet of Things
Audio / Video
Log Files
Text/Image
Social Sentiment
Data Market Feeds
eGov Feeds
Weather
Wikis / Blogs
Click Stream
Sensors / RFID / Devices
Spatial & GPS Coordinates
Modern Web
Mobile
Advertising
Collaboration
eCommerce
Digital Marketing
Search Marketing
Web Logs
Recommendations
ERP / CRM
Sales Pipeline
Payables
Payroll
Inventory
Contacts
Deal Tracking
Terabytes
(10e12)
Gigabytes
(10e9)
Exabytes
(10e18)
Petabytes
(10e15)
Velocidad | Variedad | Variabilidad
Volumen
ERP / CRM
Modern Web
Internet of Things
¿Qué es Big Data?
Microsoft Azure
(kB)10e3
(MB)10e6
(GB)10e9
(TB)10e12
(PB)10e15
(EB)10e18
(ZB)10e21
(YB)10e24

15. Ejemplos de Big Data
12 Tb
día
21 Pb
Hadoop
cluster
7 Pb
mes
1 Tb
tweets/dia
75 Million
scores/day
14 Tb
Hadoop
cluster
4 Billion
Graph edg/day
7 Tb
datos/dia
Microsoft Azure

16. Escenariosde Business Analytics
•Análisis sencillo de gran cantidad de datos no estructurados: Microsoft HDInsight
•Análisis sencillo de datos en memoria: Microsoft StreamInsight
•Análisis en profundidad: SQL Server y Self-Service BI
16
Microsoft Azure

17. Flujodedatos de un tradicionalE-Commerce

18. Nuevo flujo de Big Data de un E-Commerce
¿Cuántasvistasparaciertos
productosaumentancuando
nuestros
anunciosse ven en TV?

19. Conceptos básicos
Microsoft Azure

20. Características de Big Data

21. ¿Qué es Hadoop?
•Plataforma de almacenamiento de datos y análisis para Big Data
•Open Source
•Optimizado para manejar
•Datos masivos a través de paralelismo
•Variedad de datos (Estructurados, No-estructurados, Menos estructurados)
•Uso de hardware económico
•No para OLTP / OLAP 21

22. ¿Qué es HDInsight?
•Proyecto Isotope
•HDInsight es la distribución de Microsoft de Apache Hadoop que se ejecuta en Windows.
•On premise: Instalación en Windows Server
•Cloud: Despliegue en la nube Microsoft Azure
22

23. RDBMS vs. Hadoop

25. Distributed Storage
(HDFS)
Query
(Hive)
Distributed Processing
(MapReduce) ODBC
Legend
■Core Hadoop
■Data processing
■Data Movement
■Packages
EcosistemaHadoop

26. Hadoop Core +
Hive, Pig, HBase
C#, F#, .NET
Azure Storage (WASB)
Office 365 Power BI (Excel, PowerQuery, PowerView,
BI Sites)
World's Data (Azure Data Marketplace)
HDInsighty Hadoop
ODBC
Sqoopfor SQL Server
PowerShell

27. HDInsight y Hadoop
HDFS
Map Reduce
Pig Hive
Sqoop
Mahout Pegasus Flume
JDBC
Hive ODBC
Microsoft Azure & Windows Server
Microsoft
BI
Platform

28. Ofertas detalladas

29. Programando HDInsight
Hive, Pig, Mahout, Pegasus…
C#, F# Map/Reduce, Microsoft .NET management clients
PowerShell, cross-platform CLI tools

30. Ejemplos HiveQL
•Crear una Tabla Externa
31
Microsoft Azure
CREATE EXTERNAL TABLE iislogs(
sdatestring, stimestring, ssitenamestring, csmethodstring, csuristemstring, csuriquerystring, sport int, scstatusint, scbytesint, sbytesint, timetakenint)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ' '
LOCATION
'wasb://iis-logs@myapp.blob.core.windows.net/' selectsdate,stime,csmethod,scuristem,query_params['api-version'] asapi_version, query_params['search_value'] assearch_valuefrom (select*,str_to_map(csuriquery,'&','=')asquery_paramsfromiislogs) version_logswherequery_params['api-version'] isnotnull
•Ejecutar un query para retornar datos

31. Demo
HDInsightenMicrosoft Azure

33. LibroGratis de Microsoft Azure HDInsight
•Download the PDF (6.37 MB; 130 pages)
http://aka.ms/IntroHDInsight/PDF
•Download the EPUB (8.46 MB)
http://aka.ms/IntroHDInsight/EPUB
•Download the MOBI (12.8 MB)
http://aka.ms/IntroHDInsight/MOBI
Recursos

34. 24 Horas PASS en Español
http://bit.ly/24hopes2014
40

35. 41

36. Big Data Insights
@johnbulla
bit.ly/johnbulla
linkedin.com/in/johnbulla