Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Loading in …3
×
1 of 33

Presentación semana académica unam big data abril 2015

1

Share

Download to read offline

An overview about the evolution from Business Intelligence to Big Data

Presentación semana académica unam big data abril 2015

  1. 1. De Business Intelligence a Big Data Abril 9, 2015 UNAM
  2. 2. 2 Presentation Title | Date Diferencia entre Business Intelligence y Big Data Business Intelligence te ayuda a encontrar respuestas a preguntas conocidas, Big Data te ayuda en encontrar las cuestiones que no sabes preguntar
  3. 3. Business Intelligence
  4. 4. 4 Presentation Title | Date Historia En un tiempo, las organizaciones dependían de sus departamentos de sistemas de información para proporcionarles reportes estándar y personalizados. Esto ocurrió en los días de los mainframes y mini computadoras, cuando la mayoría de los usuarios no tenía acceso directo a las computadoras. Sin embargo, esto comenzó a cambiar en los años 70’s Cuando los sistemas basados en servidores se convirtieron en la moda. Con el paso del tiempo, fueron desarrollados los sistemas de información ejecutiva (EIS, por sus siglas en inglés), los cuales fueron adaptados para apoyar a las necesidades de ejecutivos y administradores HISTORIA
  5. 5. 5 Presentation Title | Date Definición Business Intelligence Business Intelligence es la habilidad para transformar los datos en información, y la información en conocimiento, de forma que se pueda optimizar el proceso de toma de decisiones en los negocios. Business Intelligence es el conjunto de metodologías, aplicaciones y tecnologías que permiten reunir, depurar y transformar datos de los sistemas transaccionales en información estructurada, para su explotación directa o para su análisis y conversión en conocimiento, dando así soporte a la toma de decisiones sobre el negocio.
  6. 6. 6 Presentation Title | Date Arquitectura de sistemas de información Arquitectura de los Sistemas de Informacion • Clientes • Recursos • Planificacion • Control • •NIVEL DECISIÓN A LA NIVEL GESTIÓN ECURSOS MERCAD HUMANOS NIVEL PRODUCCIÓN CONEXIÓN ADMINISTRAC. Red de Ce Proveedor MERCAD ntros es CUADRO DE MANDO AYUDAS DECISIÓN O CALIDAD CONTROL DE GESTIÓN R ESTRUCTURA PRODUCTOS Y SERVICIOS ADMINIS INTERIOREXTERIOR
  7. 7. 7 Presentation Title | Date Business Intelligence en la Arquitectura Arquitectura de los Sistemas de Informacion • Clientes • Recursos • Planificacion • Control • •NIVEL DECISIÓN A LA NIVEL GESTIÓN ECURSOS MERCAD HUMANOS NIVEL PRODUCCIÓN CONEXIÓN ADMINISTRAC. Red de Ce Proveedor MERCAD ntros es CUADRO DE MANDO AYUDAS DECISIÓN O CALIDAD CONTROL DE GESTIÓN R ESTRUCTURA PRODUCTOS Y SERVICIOS ADMINIS INTERIOREXTERIOR
  8. 8. 8 Presentation Title | Date Retorno de Inteligencia: Explotar la información disponible con el fin de mejorar la toma de decisiones estratégicas 8 Copyright © 2011 Capgemini. All rights Recolección Datos Analizar Información Toma de Decisiones & Acción Recolección Datos Analizar Información TD&A Recolección Datos Analizar Información %tiempoinvertido Menos Maduro Más Maduro Gestión EstratégicaAnálisisOperación Toma de Decisiones & Acción • Los sistemas operativos (gestión financiera, gestión de recursos materiales y de recursos humanos) del MinComercio cumplen con los requerimientos establecidos • Los procesos son homologados y cumplen con normas internacionales establecidas • Los sistemas actuales diariamente generan una gran cantidad de datos que en este momento se extraen en su gran mayoría en hojas Excel • Capgemini propone diseñar e implementar un sistema de BIM (Business Information Management) con el fin de automatizar el proceso de consolidación de datos y de análisis con el fin de agilizar el proceso de toma de decisiones estratégicas
  9. 9. 9 Presentation Title | Date Modelo conceptual de BI
  10. 10. 10 Presentation Title | Date Componentes de un modelo de BI – Data Warehouse “Un DataWarehouse es un conjunto de datos orientado a temas, integrado, no volátil, estable y que se usa para el proceso de toma de decisiones”. Un DataMart es un subconjunto sectorial del DW a menudo perteneciente a un departamento concreto. Data Warehouse
  11. 11. 11 Presentation Title | Date Componentes de un modelo de BI – Query y Reporting Son las herramientas para la elaboración de informes y listados, tanto en detalle como sobre información agregada, a partir de la información de los DataWarehouses y DataMarts.
  12. 12. 12 Presentation Title | Date Componentes de un modelo de BI – OLAP OLAP (ONLINE ANALYTICAL PROCESSING) Es un conjunto de tecnologfas y aplicaciones de software que permite recoger los datos de la compañfa, almacenarlos e indagar sobre ellos de forma rapida e intuitiva. Se trata de crear una ‘capa de negocio’ con lenguaje funcional por encima de estructuras complejas de la Base de Datos.
  13. 13. 13 Presentation Title | Date Ejemplos de Business Intelligence Sector Ejemplo Empresa conservera Mediante la implantación de un sistema de soporte a la decisión (DSS), y tras el análisis minucioso de los datos históricos que guardaba la compañía, resultó posible rediseñar todo el proceso logístico y de almacenamiento productivo hasta el punto de incrementar la rentabilidad económica de la misma en un 10%. Cadena de supermercados Una conocida cadena de supermercados ha recurrido a un sistema de Business Intelligence para averiguar cual era el perfil de sus clientes más rentables e intentar hacer lo posible para fidelizarlos. Walmart Colocando Pañales al lado de la cerveza
  14. 14. 14 Presentation Title | Date Conclusión BI “BI ayuda a rastrear lo que en realidad funciona y lo que no”. Bill Gates
  15. 15. Big Data
  16. 16. 16 Presentation Title | Date What data do you need?
  17. 17. Que es Big Data? 80% De los datos del mundo no están estructurados Muchos PBs 25+ TBs 12+ TBs 30 billiones 4.6 billiones 100s de 2+ billiones 76 milliones de datos de datos de datos de tags de RFID de smart millones de de gente en de diario diario tweet diarios diarios (1.3B phones en la GPS la red a medidores in 2005) red vendidos finales del inteligentes anualmente. 2011 en 2009
  18. 18. 18 Presentation Title | Date The rise and rise of Big Data
  19. 19. Big Data – ¿Qué es todo eso? economías, la entrega de una nueva ola de margen de operación en más de un 60% " “Los encuestados estiman que, para procesos en los que se ha aplicado análisis de datos grandes, en promedio, han visto una mejora del 26% en el rendimiento en los últimos tres años, y se espera que mejore en un 41% en los próximos tres.” & “El manejo de datos y la toma de decisiones basado en los datos pueden explicar el 5-6% en producutividad más allá de lo que se puede explicar por los insumos tradicionales y el uso de TI. “ MIT – Strength in Numbers – April 2011 “El uso eficaz de grandes volúmenes de “Estimamos que un minorista que abarca grandes datos tiene el potencial para transformar las de datos tiene el potencial de aumentar el crecimiento de la productividad ... Uso de grandes volúmenes de datos se convertirá “$300bn – el ahorro potencial en salud de EE.UU.” en una base clave para la competencia ...” “$250bn – el potencial de ahorro en el sector público europeo” McKinsey Institute – Big Data: La próxima frontera para la innovación, la competencia y la productividad - Mayo 2011
  20. 20. Las 3V del Bid Data  Volúmen Exponencial: • • Más y más dispositivos Cada dispositivo genera más y más datos  Variedad : Datos estructurados o no estructurados • Es sobre un mundo interconectado con múltiples fuentes • Trabajar con datos poco estructurados o sin estructurar.  Velocidad : Esto no es sobre velocidad tecnológica • Es sobre el valor de los datos • El valor de los datos decrece cada minuto!
  21. 21. ¿Qué es Big Data y porqué es tan importante? de negocio para M&E – + = Investigación don datos mundo Nuevas oportunidades:  Tesco & Wal-Mart – Conocimiento del cliente  Netflix – Nuevos modelos basado en análisis  Amazon - Inteligencia de consumidor  Seguridad Pública – en tiempo real  Transformación del Nuevas Fuentes de Datos:  571 sitios web son creados cada minuto.  Más dispositivos conectados a internet que personas.  34,722 “Likes” por marca en facebook cada minuto  Más información acerca de lo que hacemos. Tecnología que puede:  Distribución de los datos por más de 100 tipos de dispositivos de hardware conocidos  Administración de los datos (estructurados y no estructurados) (ejemplo: Hadoop, MapReduce, R, Cassandra, Endeca,Aster, Vertica, …)  Bajos costos & volúmenes masivos
  22. 22. Procesamiento y Almacenamiento en Memoria Mejoramiento del performance significa : 1 - 10 ratio : 10’’ y 20’’ comienza a ser instantaneo 1 - 100 ratio : 2 minutos se vuelve 1 segundo 1 - 1000 : 2 horas son 10 segundos  48 horas de procesamiento pueden correr en 3 minutos! En un appliance de memoria 40 x86 cores, 1TB of RAM Por solo 100 K EUR !
  23. 23. Cluster de Big Data  Hadoop Esquema con HadoopEsquema Actual          HW dedicado con altos costos de propiedad y operación. Construido para el desempeño Diseñado para altos volumenes (ej: 10s of TB) Alta disponibilidad Inicialmente desarrollado para BD estructuradas (tradicionales) Soluciones muy maduras (características, SW, HW, administración) Diseñado para datos modelados y estructurados Negocio como una manera usual de diseñar, construir y entregar. Marcas: Teradata, Exadata, Netezza, HANA, ...    Utiliza PCs comunes Construido para una escalabilidad extrema Diseñado para volumenes extremos (10s en PB y más) Muy alta disponibilidad Inicialmente desarrollado para Web No está lo suficientemente maduro Hadoop = Lenguaje de Estructuración de Datos    
  24. 24. Esquema Tradicional vs Esquema de Big Data Sin Big Data Con Big Data
  25. 25. Flujo de Operación de un esquema Big Data
  26. 26. Proceso de Big Data Adquisición Ordenamiento Análisis Acción analisis de gente para despues  Maquina ( más communes con automática de clientes para  Tecnología BPM / Desciciones  Sistemas de información de Gobernabilidad de datos Colección de datos de diferentes fuentes  "La adquisición constante" ETL, pero a menudo en tiempo real tradicional debido al volumen y la velocidad  Como los datos siempre son externos hay problemas de seguridad y confianza.  Licencia para los datos / problemas de privacidad por los datos externos  Datos abiertos ( publicidad disponible Organizacion y almacenamiento de datos  Altos volumenes siempre alimentados.  Se neceistan definir como serán consumidos (tiempo real , ASAP, historico) y filtrados apropiadamente.  Formato – estructurado, semi-estructurado no estructurado  Modelado– desde cada renglón hasta formas complejas de estructura. Encontrando ideas y modelado predictivo  Predicción en lugar de histórico  Modelar el comportamiento - la forma en que reaccionan los clientes? ¿Cuándo es el momento óptimo para reemplazar las piezas ....  Analisis, de texto, video y voz Usando ideas para cambiar los resultados empresariales Las salidas son:  Humano (ej. Reportes y actuar sobre ellos) Big Data) – ej.. evaluación ajustar oferta(e.g. Amazon) en tiempo real socios
  27. 27. Tecnología del proceso de Big Data Adquisición Ordenamiento Análisis Acción tiempo real (Oracle RTD – real Monitoring) (Autonomy, Attensity...) eventos(CEP) – ETL tools eg Gestión de Datos Maestros + Calidad de Datos + Metadata + Gestión del Ciclo de Vida de los Datos • Extracción (Aspire) • ETL • Integración en tiempo real o SOA / Web Services (eg Facebook) o Eventos o Enterprise Service Bus (ESB) o Change Data Capture (CDC) o RSS feeds • Open data • Social Network • Whatsapp, Skype, etc. • Los datos están aquí! • Hadoop / MapReduce • Otros almaceniamientos distribuidos utilizando SQL (eg AsterData, Neo4J, MongoDB, MarkLogic…) • Large Data Warehousing • Large Content Management Solutions • inMemory (eg Oracle Endeca, SAP HANA) • Streaming (ESB / Information Service Bus) • Remover los datos que no son útiles. • BI (SAP Business Objects, IBM Cognos, Microstrategy, Exalytics…) • Analisis predictivo(SAS, SPSS) • Modelado matemático (eg Mathematical Prediction) • Minería de Texto, audio y video • Procesamiento complejo de Informatica, IBM Streams.. • BPM (Pega...) • Herramientas de analisis en time decision, SPSS, SAS) • BAM (Business Activity • Push (mail / mobile BI) • ESB, SOA
  28. 28. 28 Presentation Title | Date Ejemplos de Big Data Sector Ejemplo Retail Gran Consumo Análisis de Redes Sociales para entender las tendencias y preferencias de Consumidores (Facebook, Twitter) Manufactura Vibraciones de maquinas para ayudar en definir el tiempo optimo hasta la sustitución Manufactura Análisis de Redes Sociales para entender posibles defectos de productos (Coches, Maquinas) que se discuten abiertamente Salud Análisis de Expedientes Clínicos para entender que padecimientos requieren que tipo de tratamiento y prevenir reingresos costosos Futbol Análisis de videos y otra información de partidos para determinar la estrategia a ganar
  29. 29. 29 Presentation Title | Date  Solution: • Big Data established as a “shared service” across multiple LOBs.. • Business Cases: Next Best Action, Sentiment Analysis, Cross-Sell/Upsell, Fraud Analytics, Mortgage Dispositions  Business Challenge: • Global bank establishing “Analytics” as a core competency. Bank focusing on Information and Data as strategic asset. • Bank is focused on Big Data as key analytics tool and establishing a Big Data COE to be leveraged into multiple lines of business of the bank – retail, cards, commercial Big Data Deployments In Financial Services Global Bank
  30. 30. 30 Presentation Title | Date Case Studies: Global Customer Products Company Global Consumer Products Company Jive Radian6 Adobe Omniture Eloqua  Social media analytics services. Listen, monitor and engage to the social conversation with Jive and Radian6 cloud solutions. Don’t miss a word customers say about you, no matter in what language or location. Open 24x7x365 around the globe  Web analytics services. Transform website traffic data into intelligence and actionable insights with Adobe Omniture, Discover and Insight. Built to transform large amounts of off- and online data  Email and web-based marketing campaign services. Automate and align multi channel marketing campaigns with Eloqua campaign management. From lead nurturing to multi channel effectiveness all by one cloud-based marketing automation experience  Search-marketing management services. Manage multiple advertisement accounts across multiple platforms as Google, Bing and others form a single interface with Adobe SearchCenter. Manage ad spend, click through, conversion and add creatives directly
  31. 31. 31 Presentation Title | Date Big Data Deployment: From Satellite to Mobile device Capgemini Austria TU Vienna / IPF Capgemini Aerospace & Defense GeoVille Delivery Consortium Office of the Styrian Government Dept. for Protective Hydraulic Eng. & Soil Water Management Federal government of Lower Austria Department for fire department and civil protection (Exemplary) End Users / “Clients” New Business Model or Business Model Improvement The FAAPS processing chain accesses EO data and generates geo-coded flood information Scientific community provides with scientific algorithms Satellite creates Earth Observation (EO) data  Disaster Management Centers access flood information  Rescue Teams access flood information via mobile devices Big Data Solution ESA is advertising us: http://iap.esa.int/projects/security/faaps
  32. 32. Arquitectura de una Solución para Seguridad Monitoreo Redes Sociales NoticiasVideo Wall Sistema Alertas - Palantir + CCTV Solution - ARCGIS + Palantir Indicadores & KPIs Reconocimiento Facial Bio-AnálisisHerramienta Investigación - Palantir - Palantir - Palantir Big Data (Estructurado y No Estructurado) Datos Públicos Datos Privados Entidades de Justicia Otras Fuentes Datos Bancarios Otras Fuentes Internet IFAI Telefonía Intercepción Demandas
  33. 33. Gracias!!!!

Editor's Notes

  • Every industry has very specific use cases that drive Big Data Success.

    In areas such as…
    Transportation & Logistics that are detecting Fraudb efore it happens– (Timocom)
    Driving Sales by incorporating Environmental Data such as weather with PoS data (Sheets)
    Web Traffic Monitoring to determine customer behavior– GSI Commerce

    When you know your goals and fully understand your data requirements then you know what data you need to collect.

    It is then you can make a decision on what infrastructure you need.
  • Point of slide – Establish how quickly data is growing. If you don’t have big data now you might soon.

    Data only grows. And Big Data is growing exponentially.

    Why?
    Growth of existing data sources, with sophistocation of computer tracking of shipments, sales, suppliers, and customers, as well as e-mail, and web traffic.
    Growth of new data sources and types such as geospatial, social media comments, mobile, etc
  • ×