Big Data is transforming the way enterprises interact with information, but that’s only half the story. The real innovations are happening at the intersection of Fast Data and Big Data. This presentation shown how to build a Fast Data Platform using VoltDB, Hortonworks and Vertica.
13. FASE 3: HADOOP 1.0
Componenti
1. Dati distribuiti (HDFS)
2. Computazione distribuita (Map-Reduce)
Vantaggi
1. Maschera la complessità della gestione
del cluster
2. Minimizza gli spostamenti dei dati
3. Scala orizzontalmente su commodity
hardware
15. FASE 3: DATA LAKE
Caratteristiche
1. Tutti i dati al massimo livello di
dettaglio (Volume)
2. Dati strutturati e non (Varietà)
3. Dati aggiunti appena disponibili
(Velocità)
4. Dati processabili in modalità
distribuita (Valore)
24. LAMBDA ARCHITECTURE: PAIN POINTS
Problematiche
1. Duplicazione della logica di calcolo
2. Integrazione viste effettuata a livello
applicativo
3. Molte componenti software da
gestire
4. Molte componenti hardware
esposte a possibili fault
5. Velocità del fast layer limitata dal
sistema di storage dello stato
utilizzato
26. Un po’ di storia
VoltDB e i Fast Data
Utilizzo di VoltDB in una Enterprise
Data Platform
27. VoltDB è un database…
1. In memory
2. Partitioned
3. Single-threaded
4. Distributed
5. ACID compliant
COS’E’?
28. A tutte quelle applicazioni che
hanno bisogno di processare
grosse quantità di dati in
modo affidabile e veloce (fast
data)
Requisiti chiave per queste
applicazioni sono…
1. Altissimo throughput
2. Scalabilità
3. Affidabilità
4. High Availability
A CHI SERVE
29. A CHI NON SERVE
A tutte quelle applicazioni che
hanno bisogno di immagazzinare e
confrontare grosse quantità di dati
storici suddivisi su più tabelle (dwh
e bi)
43. BIBLIOGRAFIA
1. How to beat the CAP (Nathan Marz)
2. Questioning the Lambda Architecture (Jay Kreps)
3. The Log: What every software engineer should know about real-
time data's unifying abstraction (Jay Kreps)
4. Polyglot Persistence (Martin Fowler)
5. Fast Data and the New Enterprise Data Architecture (Scott Jarr)
6. Simplifying the (complex) Lambda architecture (John Piekos)