Introducción a Apache Spark - Framework de procesamiento de datos distribuido y en memoria
•
11 likes•6,913 views
Apache Spark es un motor de procesamiento de datos de código abierto y de alta velocidad. Proporciona procesamiento in-memory de datos a través de RDD (Resilient Distributed Datasets) que permiten operaciones paralelas tolerantes a fallas. Spark también ofrece un entorno de desarrollo interactivo y una API unificada para procesamiento por lotes e incremental sobre Hadoop u otros sistemas de almacenamiento distribuido.
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (20)
Similar to Introducción a Apache Spark - Framework de procesamiento de datos distribuido y en memoria
Similar to Introducción a Apache Spark - Framework de procesamiento de datos distribuido y en memoria (20)
Recently uploaded
Recently uploaded (10)
Introducción a Apache Spark - Framework de procesamiento de datos distribuido y en memoria
- 1. Introducción Apache Spark Gustavo Arjones gustavo@socialmetrix.com @arjones
- 2. Co-founder & CTO, Socialmetrix Lic. Ciencias Computación MBA Marketing Servicios @arjones gustavo@socialmetrix.com Brasileño, en ARG desde 2008 Gustavo Arjones
- 4. Qué es Spark? Apache Spark™ is a fast and general engine for large-scale data processing. • Procesamiento In-memory (preferencialmente) • Framework de Procesamiento Unificado • Para Ingenieros & Data Scientists
- 5. Principales Pilares Task Scheduler • Prepara los jobs a traves de DAG (Directed acyclic graph) • Enganchan funciones para ejecutar los stages • Cache-aware; considera data utilización & localización (data locality) • Partitioning-aware para reducir shuffles por la red RDD (Resilient Distributed Datasets) • Estructura de datos Immutable (In-memory) • Tolerante a fallas (Se reama en caso de falla) • Estructura de datos que puede ser operada en paralelo • Rica interfaz de Transformations & Actions
- 7. Viene de buen “origen” BDAS, the Berkeley Data Analytics Stack (AMPLAB)
- 8. Compacto y poderoso • Escrito en Scala, con wrappers para Python y Java*
- 9. API muy expresiva Ver: https://spark.apache.org/docs/latest/api/scala/#org.apache.spark.rdd.RDD
- 10. • Aprender, prototipado rápido • Análisis interactivo sobre los datos Consola interactiva
- 12. Plataforma Unificada • No es necesario copiar datos/ETL entre sistemas • Varios tipos de procesamientos en el mismo código (claridad) • Reutilización de código (Batch & Realtime) • Un único sistema para aprender • Un único sistema para mantener Big Deal para Arquitectura Lambda
- 13. Plataforma Unificada (lines of code) 0 20000 40000 60000 80000 100000 120000 140000 Hadoop MapReduce Storm (Streaming) Impala (SQL) Giraph (Graph) Spark non-test, non-example source lines GraphX Streaming SparkSQL
- 14. Spark UI
- 15. Código Testeable! • El contexto puede crear RDD
- 16. Proyecto muy activo (y ganando tracción)
- 17. Proyecto MUY activo (y ganando tracción) *as of June 1, 2014 0 50 100 150 200 250 Patches MapReduce Storm Yarn Spark 0 5000 10000 15000 20000 25000 30000 35000 40000 45000 Lines Added MapReduce Storm Yarn Spark 0 2000 4000 6000 8000 10000 12000 14000 16000 Lines Removed MapReduce Storm Yarn Spark
- 18. Y más … • Esfuerzo para estandarización de la plataforma • Certificación para Distros & Apps gratis • Material de training gratis • Databricks levantó $47M • Databricks Cloud???
- 19. Y Hadoop?
- 20. Modelo Map-Reduce iter. 1 iter. 2 . . . Input HDFS read HDFS write HDFS read HDFS write Input query 1 query 2 query 3 result 1 result 2 result 3 . . . HDFS read Lento porque necesita replicación, serialización y I/O
- 21. iter. 1 iter. 2 . . . Input Distributed memory Input query 1 query 2 query 3 . . . one-time processing 10-100× más rápido Spark (in-memory + DAG execution engine)
- 22. Spark y Hadoop pueden ser amigos • YARN / Mesos • Acceso HDFS / S3 • Usando Input/Output formats de Hadoop
- 26. Gracias & Obrigado! Gustavo Arjones gustavo@socialmetrix.com @arjones