An overview about the evolution from Business Intelligence to Big Data

1. De Business
Intelligence a Big Data
Abril 9, 2015
UNAM

2. 2
Presentation Title | Date
Diferencia entre Business Intelligence y Big
Data
Business Intelligence te ayuda a encontrar
respuestas a preguntas conocidas, Big Data te
ayuda en encontrar las cuestiones que no sabes
preguntar

3. Business Intelligence

4. 4
Presentation Title | Date
Historia
En un tiempo, las
organizaciones dependían
de sus departamentos
de sistemas de información
para proporcionarles reportes
estándar y personalizados.
Esto ocurrió en los días de
los mainframes y mini
computadoras, cuando la
mayoría de los usuarios
no tenía acceso directo a las
computadoras.
Sin embargo, esto comenzó a
cambiar en los años 70’s
Cuando los sistemas basados
en servidores se convirtieron
en la moda. Con el paso del
tiempo, fueron desarrollados
los sistemas de información
ejecutiva (EIS, por sus siglas
en inglés), los cuales fueron
adaptados para apoyar a las
necesidades de ejecutivos y
administradores
HISTORIA

5. 5
Presentation Title | Date
Definición Business Intelligence
Business Intelligence es la habilidad para transformar los datos en
información, y la información en conocimiento, de forma que se
pueda optimizar el proceso de toma de decisiones en los negocios.
Business Intelligence es el conjunto de metodologías, aplicaciones y
tecnologías que permiten reunir, depurar y transformar datos de los
sistemas transaccionales en información estructurada, para su
explotación directa o para su análisis y conversión en conocimiento,
dando así soporte a la toma de decisiones sobre el negocio.

6. 6
Presentation Title | Date
Arquitectura de sistemas de información
Arquitectura de los Sistemas de Informacion
• Clientes • Recursos
• Planificacion
• Control
•
•NIVEL
DECISIÓN
A LA
NIVEL
GESTIÓN
ECURSOS
MERCAD HUMANOS
NIVEL
PRODUCCIÓN
CONEXIÓN ADMINISTRAC.
Red de Ce
Proveedor
MERCAD
ntros
es
CUADRO
DE MANDO
AYUDAS
DECISIÓN
O
CALIDAD
CONTROL
DE
GESTIÓN
R
ESTRUCTURA
PRODUCTOS
Y SERVICIOS
ADMINIS
INTERIOREXTERIOR

7. 7
Presentation Title | Date
Business Intelligence en la Arquitectura
Arquitectura de los Sistemas de Informacion
• Clientes • Recursos
• Planificacion
• Control
•
•NIVEL
DECISIÓN
A LA
NIVEL
GESTIÓN
ECURSOS
MERCAD HUMANOS
NIVEL
PRODUCCIÓN
CONEXIÓN ADMINISTRAC.
Red de Ce
Proveedor
MERCAD
ntros
es
CUADRO
DE MANDO
AYUDAS
DECISIÓN
O
CALIDAD
CONTROL
DE
GESTIÓN
R
ESTRUCTURA
PRODUCTOS
Y SERVICIOS
ADMINIS
INTERIOREXTERIOR

8. 8
Presentation Title | Date
Retorno de Inteligencia: Explotar la información disponible
con el fin de mejorar la toma de decisiones estratégicas
8
Copyright © 2011
Capgemini. All rights
Recolección
Datos
Analizar
Información
Toma de
Decisiones &
Acción
Recolección
Datos
Analizar
Información
TD&A
Recolección
Datos
Analizar
Información
%tiempoinvertido
Menos Maduro Más Maduro
Gestión EstratégicaAnálisisOperación
Toma de
Decisiones &
Acción
• Los sistemas operativos (gestión
financiera, gestión de recursos
materiales y de recursos humanos)
del MinComercio cumplen con los
requerimientos establecidos
• Los procesos son homologados y
cumplen con normas internacionales
establecidas
• Los sistemas actuales diariamente
generan una gran cantidad de datos
que en este momento se extraen en
su gran mayoría en hojas Excel
• Capgemini propone diseñar e
implementar un sistema de BIM
(Business Information Management)
con el fin de automatizar el proceso
de consolidación de datos y de
análisis con el fin de agilizar el
proceso de toma de decisiones
estratégicas

9. 9
Presentation Title | Date
Modelo conceptual de BI

10. 10
Presentation Title | Date
Componentes de un modelo de BI –
Data Warehouse
“Un DataWarehouse es un conjunto de datos orientado
a temas, integrado, no volátil, estable y que se usa para
el proceso de toma de decisiones”. Un DataMart es un
subconjunto sectorial del DW a menudo perteneciente a
un departamento concreto.
Data
Warehouse

11. 11
Presentation Title | Date
Componentes de un modelo de BI –
Query y Reporting
Son las herramientas para la elaboración de informes y listados, tanto en detalle como
sobre información agregada, a partir de la información de los DataWarehouses y
DataMarts.

12. 12
Presentation Title | Date
Componentes de un modelo de BI –
OLAP
OLAP (ONLINE ANALYTICAL PROCESSING)
Es un conjunto de tecnologfas y aplicaciones de software que permite recoger
los datos de la compañfa, almacenarlos e indagar sobre ellos de forma rapida
e intuitiva. Se trata de crear una ‘capa de negocio’ con lenguaje funcional por
encima de estructuras complejas de la Base de Datos.

13. 13
Presentation Title | Date
Ejemplos de Business Intelligence
Sector Ejemplo
Empresa conservera Mediante la implantación de un sistema de soporte a la
decisión (DSS), y tras el análisis minucioso de los datos
históricos que guardaba la compañía, resultó posible
rediseñar todo el proceso logístico y de almacenamiento
productivo hasta el punto de incrementar la rentabilidad
económica de la misma en un 10%.
Cadena de
supermercados
Una conocida cadena de supermercados ha recurrido a un
sistema de Business Intelligence para averiguar cual era el
perfil de sus clientes más rentables e intentar hacer lo posible
para fidelizarlos.
Walmart Colocando Pañales al lado de la cerveza

14. 14
Presentation Title | Date
Conclusión BI
“BI ayuda a rastrear lo que en realidad
funciona y lo que no”.
Bill Gates

15. Big Data

16. 16
Presentation Title | Date
What data do you need?

17. Que es Big Data?
80%
De los datos del
mundo no están
estructurados
Muchos PBs 25+ TBs 12+ TBs 30 billiones 4.6 billiones 100s de 2+ billiones 76 milliones
de datos de datos de datos de tags de RFID de smart millones de de gente en de
diario diario tweet diarios diarios (1.3B phones en la GPS la red a medidores
in 2005) red vendidos finales del inteligentes
anualmente. 2011 en 2009

18. 18
Presentation Title | Date
The rise and rise of Big Data

19. Big Data – ¿Qué es todo eso?
economías, la entrega de una nueva ola de margen de operación en más de un 60% "
“Los encuestados estiman que, para procesos en los que se ha aplicado análisis de datos
grandes, en promedio, han visto una mejora del 26% en el rendimiento en los últimos tres años, y
se espera que mejore en un 41% en los próximos tres.”
&
“El manejo de datos y la toma de decisiones basado en los datos pueden explicar el 5-6% en
producutividad más allá de lo que se puede explicar por los insumos tradicionales y el uso de TI. “
MIT – Strength in Numbers – April 2011
“El uso eficaz de grandes volúmenes de “Estimamos que un minorista que abarca grandes
datos tiene el potencial para transformar las de datos tiene el potencial de aumentar el
crecimiento de la productividad ... Uso de
grandes volúmenes de datos se convertirá “$300bn – el ahorro potencial en salud de EE.UU.”
en una base clave para la competencia ...”
“$250bn – el potencial de ahorro en el sector público europeo”
McKinsey Institute – Big Data: La próxima frontera para la innovación, la competencia y la productividad - Mayo 2011

20. Las 3V del Bid Data
 Volúmen Exponencial:
•
•
Más y más dispositivos
Cada dispositivo genera más y más datos
 Variedad : Datos estructurados o no estructurados
• Es sobre un mundo interconectado con múltiples fuentes
• Trabajar con datos poco estructurados o sin estructurar.
 Velocidad : Esto no es sobre velocidad tecnológica
• Es sobre el valor de los datos
• El valor de los datos decrece cada minuto!

21. ¿Qué es Big Data y porqué es tan importante?
de negocio para M&E –
+ =
Investigación don datos
mundo
Nuevas oportunidades:
 Tesco & Wal-Mart –
Conocimiento del cliente
 Netflix – Nuevos modelos
basado en análisis
 Amazon - Inteligencia de
consumidor
 Seguridad Pública –
en tiempo real
 Transformación del
Nuevas Fuentes de
Datos:
 571 sitios web son creados
cada minuto.
 Más dispositivos
conectados a internet que
personas.
 34,722 “Likes” por marca
en facebook cada minuto
 Más información acerca
de lo que hacemos.
Tecnología que puede:
 Distribución de los datos
por más de 100 tipos de
dispositivos de hardware
conocidos
 Administración de los
datos (estructurados y no
estructurados)
(ejemplo: Hadoop,
MapReduce, R, Cassandra,
Endeca,Aster, Vertica, …)
 Bajos costos &
volúmenes masivos

22. Procesamiento y Almacenamiento en Memoria
Mejoramiento del performance significa :
1 - 10 ratio : 10’’ y 20’’ comienza a ser instantaneo
1 - 100 ratio : 2 minutos se vuelve 1 segundo
1 - 1000 : 2 horas son 10 segundos
 48 horas de procesamiento pueden correr en
3 minutos!
En un appliance de memoria
40 x86 cores, 1TB of RAM
Por solo 100 K EUR !

23. Cluster de Big Data  Hadoop
Esquema con HadoopEsquema Actual









HW dedicado con altos costos de propiedad y operación.
Construido para el desempeño
Diseñado para altos volumenes (ej: 10s of TB)
Alta disponibilidad
Inicialmente desarrollado para BD estructuradas (tradicionales)
Soluciones muy maduras (características, SW, HW, administración)
Diseñado para datos modelados y estructurados
Negocio como una manera usual de diseñar, construir y entregar.
Marcas: Teradata, Exadata, Netezza, HANA, ...



Utiliza PCs comunes
Construido para una escalabilidad extrema
Diseñado para volumenes extremos (10s en PB y
más)
Muy alta disponibilidad
Inicialmente desarrollado para Web
No está lo suficientemente maduro
Hadoop = Lenguaje de Estructuración de Datos





24. Esquema Tradicional vs Esquema de Big Data
Sin Big Data
Con Big Data

25. Flujo de Operación de un esquema Big Data

26. Proceso de Big Data
Adquisición Ordenamiento Análisis Acción
analisis de gente para despues
 Maquina ( más communes con
automática de clientes para
 Tecnología BPM / Desciciones
 Sistemas de información de
Gobernabilidad de datos
Colección de datos de
diferentes fuentes
 "La adquisición constante"
ETL, pero a menudo en
tiempo real tradicional
debido al volumen y la
velocidad
 Como los datos siempre son
externos hay problemas de
seguridad y confianza.
 Licencia para los datos /
problemas de privacidad por
los datos externos
 Datos abiertos ( publicidad
disponible
Organizacion y
almacenamiento de
datos
 Altos volumenes siempre
alimentados.
 Se neceistan definir como
serán consumidos (tiempo
real , ASAP, historico) y
filtrados apropiadamente.
 Formato – estructurado,
semi-estructurado no
estructurado
 Modelado– desde cada
renglón hasta formas
complejas de estructura.
Encontrando ideas y
modelado predictivo
 Predicción en lugar de
histórico
 Modelar el comportamiento -
la forma en que reaccionan
los clientes? ¿Cuándo es el
momento óptimo para
reemplazar las piezas ....
 Analisis, de texto, video y
voz
Usando ideas para
cambiar los resultados
empresariales
Las salidas son:
 Humano (ej. Reportes y
actuar sobre ellos)
Big Data) – ej.. evaluación
ajustar oferta(e.g. Amazon)
en tiempo real
socios

27. Tecnología del proceso de Big Data
Adquisición Ordenamiento Análisis Acción
tiempo real (Oracle RTD – real
Monitoring)
(Autonomy, Attensity...)
eventos(CEP) – ETL tools eg
Gestión de Datos Maestros + Calidad de Datos + Metadata + Gestión del Ciclo de Vida de los Datos
• Extracción (Aspire)
• ETL
• Integración en tiempo real
o SOA / Web Services
(eg Facebook)
o Eventos
o Enterprise Service Bus (ESB)
o Change Data Capture (CDC)
o RSS feeds
• Open data
• Social Network
• Whatsapp, Skype, etc.
• Los datos están aquí!
• Hadoop / MapReduce
• Otros almaceniamientos
distribuidos utilizando SQL (eg
AsterData, Neo4J, MongoDB,
MarkLogic…)
• Large Data Warehousing
• Large Content Management
Solutions
• inMemory (eg Oracle Endeca,
SAP HANA)
• Streaming (ESB / Information
Service Bus)
• Remover los datos que no son
útiles.
• BI (SAP Business Objects, IBM
Cognos, Microstrategy,
Exalytics…)
• Analisis predictivo(SAS, SPSS)
• Modelado matemático (eg
Mathematical Prediction)
• Minería de Texto, audio y video
• Procesamiento complejo de
Informatica, IBM Streams..
• BPM (Pega...)
• Herramientas de analisis en
time decision, SPSS, SAS)
• BAM (Business Activity
• Push (mail / mobile BI)
• ESB, SOA

28. 28
Presentation Title | Date
Ejemplos de Big Data
Sector Ejemplo
Retail
Gran Consumo
Análisis de Redes Sociales para
entender las tendencias y preferencias
de Consumidores (Facebook, Twitter)
Manufactura Vibraciones de maquinas para ayudar en
definir el tiempo optimo hasta la
sustitución
Manufactura Análisis de Redes Sociales para
entender posibles defectos de productos
(Coches, Maquinas) que se discuten
abiertamente
Salud Análisis de Expedientes Clínicos para
entender que padecimientos requieren
que tipo de tratamiento y prevenir
reingresos costosos
Futbol Análisis de videos y otra información de
partidos para determinar la estrategia a
ganar

29. 29
Presentation Title | Date
 Solution:
• Big Data established as a “shared service” across
multiple LOBs..
• Business Cases: Next Best Action, Sentiment Analysis,
Cross-Sell/Upsell, Fraud Analytics, Mortgage
Dispositions
 Business Challenge:
• Global bank establishing “Analytics” as a core
competency. Bank focusing on Information and Data
as strategic asset.
• Bank is focused on Big Data as key analytics tool and
establishing a Big Data COE to be leveraged into
multiple lines of business of the bank – retail, cards,
commercial
Big Data Deployments In Financial Services
Global Bank

30. 30
Presentation Title | Date
Case Studies: Global Customer Products
Company
Global
Consumer
Products
Company
Jive
Radian6
Adobe
Omniture
Eloqua
 Social media analytics services. Listen, monitor and engage to the social
conversation with Jive and Radian6 cloud solutions. Don’t miss a word customers
say about you, no matter in what language or location. Open 24x7x365 around the
globe
 Web analytics services. Transform website traffic data into intelligence and
actionable insights with Adobe Omniture, Discover and Insight. Built to transform
large amounts of off- and online data
 Email and web-based marketing campaign services. Automate and align multi
channel marketing campaigns with Eloqua campaign management. From lead
nurturing to multi channel effectiveness all by one cloud-based marketing
automation experience
 Search-marketing management services. Manage multiple advertisement
accounts across multiple platforms as Google, Bing and others form a single
interface with Adobe SearchCenter. Manage ad spend, click through, conversion
and add creatives directly

31. 31
Presentation Title | Date
Big Data Deployment: From Satellite to Mobile
device
Capgemini Austria
TU Vienna / IPF
Capgemini
Aerospace & Defense
GeoVille
Delivery Consortium
Office of the Styrian Government
Dept. for Protective Hydraulic Eng. &
Soil Water Management
Federal government of Lower Austria
Department for fire department and civil
protection
(Exemplary) End Users / “Clients”
New Business Model or Business Model
Improvement
The FAAPS processing chain
accesses EO data and
generates geo-coded
flood information
Scientific community
provides with
scientific algorithms
Satellite creates Earth
Observation (EO) data
 Disaster Management Centers access
flood information
 Rescue Teams access flood information
via mobile devices
Big Data Solution
ESA is advertising us: http://iap.esa.int/projects/security/faaps

32. Arquitectura de una Solución para Seguridad
Monitoreo Redes Sociales
NoticiasVideo Wall
Sistema Alertas
- Palantir + CCTV Solution
- ARCGIS + Palantir
Indicadores & KPIs
Reconocimiento Facial
Bio-AnálisisHerramienta Investigación
- Palantir
- Palantir
- Palantir
Big Data
(Estructurado y No Estructurado)
Datos Públicos Datos Privados Entidades de Justicia
Otras
Fuentes
Datos
Bancarios
Otras
Fuentes
Internet IFAI Telefonía Intercepción Demandas

33. Gracias!!!!