1. Big Data
Définition, enjeux, technologies

2. Qu’est ce que le phénomène big data ?
Définition
2

3. Accumulation sans
fin de données
numériques
Gartner 2008
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 3

4. Liée à un contexte nouveau
+ de produits, de documents
+
d’applications
de services
+
d’échanges,
de transactions,
de trafic +
de terminaux,
de devices
+ de clients, d’utilisateurs
Tout est conservé !
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 4

5. Principales sources
Média et divertissements
Santé
Sciences de la vie
Vidéo surveillance
Transports, logistique, télécommunications
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 5

6. Des données différentes
Structurées Non structurées
Organisées ; Produites en temps réel ;
Types prédéterminés ; En flots continus ;
Relations bien connues ; Méta taguées de façon disparate ;
Accès transactionnel. De sources très disparates.
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 6

7. 3 caractéristiques
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 7

8. x 44 en 10 ans
Zo Eo Po To Go
1 000 000 000
000
25 000 000 000 000 000 000 de conteneurs (quatrillion)
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 8

9. Impacts sur les Data Centers.
Pour les dix ans à
venir
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 9

10. Big data  value
Big
Une valeur statistique
Reporting
Data mining
Analyse prédictive
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 10

11. De nouvelles opportunités
Marché en croissance de 40% d’ici 2015 (IDC) ;
Stockage la progression de 61% ;
Convergence Big Data & Cloud Computing ;
Un nouveau métier : Data Scientist.
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 11

12. De nouveaux défis
Acquérir
Sources multiples – Vélocité
Organiser
Stockage – Passage à l’échelle – Performances
Analyser
Fouille de données – Business intelligence
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 12

13. Tendances, concepts et produits
Solutions technologiques

14. Enablers
Hyperscale
computing
+
commodity
hardware
Un datacenter en mode open source
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 14

15. Scale out storage
SCALE UP SCALE OUT
Nouvelles Nouvelles
Résea Ressources Ressources
Ressources Ressources
u
inter
ne Réseau externe
(bus Ressources Ensemble de nœuds agissant comme système
ou de stockage
mém
oire)
Ressources
•Plus extensible
•Plus performant
Système
de stockage •Plus économique (-50 %)
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 15

16. NotOnlySQL
Bases de Données non relationnelles
Clé / valeur
Document
Colonne
Graphe
Adapté aux architectures distribuées
Fournit la tolérance aux pannes
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 16

17. Map Reduce
2004, Google - MapReduce: Simplified Data Processing on Large Cluster
Diviser les données traitées en parallèle (Map)
Combiner l’ensemble des résultats (Reduce)
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 17

18. Plateforme Big Data
Une architecture unifiée
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 18

19. Dans tout ça
L’open data

20. Données ouvertes
Données variables
Un volume potentiellement conséquent
Des mises à jour fréquentes
Une valeur liée à l’analyse
 Data
Big
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 20

21. Exemple
Elastic
Web
Map
App Reduce
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 21

22. Merci de votre attention
Mardi 22 Semaine européenne de l’Open Data | Pierre Evenou | 22