Este documento compara Hadoop y Spark, argumentando que Spark es una mejor opción debido a su capacidad de procesamiento de datos in-memory, su interfaz más expresiva y su naturaleza de plataforma unificada que permite procesamiento por lotes y en tiempo real con un solo código. El documento también discute algunos desafíos de Spark como trabajos largos y problemas de serialización.

1. ¿Por qué cambiar de Hadoop a Spark?
Teoria y ejemplos de nuestra experiencia
Gustavo Arjones
gustavo@socialmetrix.com
@arjones

2. Co-founder & CTO
Lic. Ciencias Computación
MBA Marketing Servicios
@arjones
gustavo@socialmetrix.com
linkedIn.com/in/arjones
Brasileño, en ARG desde 2008
Gustavo Arjones

5. #1 Interacción

6. Razones para elección
• Reducir las incertimdubres del proyecto
• HiveQL à SQL menor ramp-up
• Hadoop/Hive tenía soporte en AWS
• Proof of Concept funcionó correctamente
• Pruebas con DynamoDB demonstraron ser muy costosas

7. Empiezan los
problemas

8. HQL
complejas
son
para
escribir
una
vez
y
nunca
más
entenderlas!

10. Hive es difícil de testear
• Frameworks de tests para Hive no están maduros y son dificiles
de implementar.
• Gastamos mucho tiempo y recursos escribiendo validadores de
procesos y métricas

11. No están las últimas versiones de Hive en AWS
• Se había lanzado Hive 0.13 hacias 4+ meses y nosotros todavía
teníamos Hive 0.12 en AWS
• Perdíamos la dinámica de un proyecto con muchas features
nuevas y mejoras de performance

12. MySQL retrasaba los jobs
• Cuando los MapReduce jobs terminanban y había que enviar los
datos a MySQL, estaba tomando 2x más tiempo que el MR de
cálculo.
• Problemas típicos de MySQL, pérdida de performance en grande
volúmenes de datos
• Limite de escalabilidad

13. Y como resultado …
• Bugs aumentando
• Tiempo de proyecto dilatandose
• Baja reutilización de codigo
• Problemas que atraparías en COMPILE-TIME terminan en
RUNTIME – porque es SQL!

14. ¿Qué hacemos?

15. Seguimos por el mismo camino?
• Probar Pig
• Probar Cascading (o Scalding)
• Probar Hbase
Pero seguíamos preocupados con
el tiempo de ejecución!

16. ¿Probamos el
framework que
la gente viene
hablando?

17. Qué es Spark?
Apache Spark™ is a fast and general engine for large-scale data
processing.
• Procesamiento In-memory (preferencialmente)
• Framework de Procesamiento Unificado
• Para Ingenieros & Data Scientists

18. Principales Pilares
Task Scheduler
• Prepara los jobs a traves de DAG (Directed acyclic
graph)
• Enganchan funciones para ejecutar los stages
• Cache-aware; considera data utilización &
localización (data locality)
• Partitioning-aware para reducir shuffles por la red
RDD (Resilient Distributed Datasets)
•
Estructura de datos Immutable (In-memory)
• Tolerante a fallas (Se reama en caso de falla)
• Estructura de datos que puede ser operada en
paralelo
• Rica interfaz de Transformations & Actions

19. DEMO – Word Count (el hello world de BigData)

20. ¿Por qué nos
gusta?

21. Viene de buen “origen”
BDAS, the Berkeley Data Analytics Stack (AMPLAB)

22. Plataforma Unificada

23. Plataforma Unificada (lines of code)
0
20000
40000
60000
80000
100000
120000
140000
Hadoop
MapReduce
Storm
(Streaming)
Impala (SQL) Giraph
(Graph)
Spark
non-test, non-example source lines (2014 numbers)
GraphX
Streaming
SparkSQL

24. Proyecto muy activo (y ganando tracción) ’13-’14

25. Proyecto muy activo 2015

27. h;ps://twi;er.com/bigdata/status/610482424741367809

28. Y más …
• Esfuerzo para estandarización de la plataforma
• Certificación para Distros
& Apps gratis
• Material de training gratis
• Databricks levantó $47M
• Databricks Cloud (?)

29. Ventajas de la Plataforma Unificada
• No es necesario copiar datos/ETL entre sistemas
• Varios procesamientos en el mismo código (claridad)
• Reutilización de código (Batch & Realtime)
• Un único sistema para aprender ß Happy Devs
• Ops: Un único sistema para mantener ß Happy Ops
Big Deal para
Arquitectura Lambda

30. Compacto y poderoso
• Escrito en Scala, con wrappers para Python, Java* y R

31. API muy expresiva
Ver: https://spark.apache.org/docs/latest/api/scala/#org.apache.spark.rdd.RDD
+
SQL
+
Data
Frames

32. • Aprender, prototipado rápido
• Análisis interactivo sobre los datos
Consola interactiva (REPL)

33. Version Web de Spark-Shell – similar a Python Notebooks

34. Spark UI
h;ps://databricks.com/blog/2015/06/22/understanding-­‐
your-­‐spark-­‐applicaMon-­‐through-­‐visualizaMon.html

35. Soporte Datasources
h;p://spark-­‐packages.org

36. Spark SQL Demo

37. Código Testeable!
• El contexto puede crear RDD

38. Easy Deployment
• Local-mode (development)
• Standalone (bare metal)
• Standalone + Amazon AWS
• Mesos
• Yarn

39. Components for distributed execution in Spark

40. Y Hadoop?
Spark Or Hadoop -- Which Is
The Best Big Data Framework?
http://www.forbes.com/sites/bernardmarr/
2015/06/22/spark-or-hadoop-which-is-the-best-
big-data-framework/

41. Modelo Map-Reduce
iter. 1 iter. 2 . . .
Input
HDFS
read
HDFS
write
HDFS
read
HDFS
write
Input
query 1
query 2
query 3
result 1
result 2
result 3
. . .
HDFS
read
Lento porque necesita replicación, serialización y I/O

42. iter. 1 iter. 2 . . .
Input
Distributed
memory
Input
query 1
query 2
query 3
. . .
one-time
processing
10-100× más rápido
Spark (in-memory + DAG execution engine)

43. Spark y Hadoop pueden ser amigos
• No hay HDFS en Spark – ver Tachyon
• Acceso HDFS / S3
• YARN
• Usando Input/Output formats de Hadoop

44. Log Analyzer
https://www.gitbook.com/book/
databricks/databricks-spark-reference-
applications/details

45. Entonces todo es
perfecto? Nop …
• Long Jobs
• Serialization Issues
• OOM
• Data Locallity
http://blog.cloudera.com/blog/2015/05/
working-with-apache-spark-or-how-i-
learned-to-stop-worrying-and-love-the-
shuffle/

46. Donde aprender
más?

47. Mucha documentación disponible
Official Documentation
https://spark.apache.org/
Spark Summit 2015 - Slides and Video
https://spark-summit.org/2015/
Blog Official Databricks
https://databricks.com/blog
Personal notes about Apache Spark
http://arjon.es/tag/spark/

48. No te gustó
Spark?
Apache Flink
http://flink.apache.org

49. Gracias & Obrigado!
Gustavo Arjones
gustavo@socialmetrix.com
@arjones