Digital GraphTour Paris - 26 March 2020 Jesus Barrasa

1. Les graphes pour l’IA et le
Machine Learning
A Path for Data Science
Dr. Jesús Barrasa
EMEA Sales Engineering
Director
@BarrasaDV

2. Quel salaire va augmenter le plus ?

3. Ce n’est pas ce que vous savez…

4. … mais qui vous connaissez …
…et où ils sont dans le reseau

5. Photo by Helena Lopes on Unsplash
La structure réseau
a une grande puissance predictive sur
la remuneration et les promotions
• Personnes proches des trous
structurels
• Personnes “mal adaptees”
“Organizational Misfits and the Origins of Brokerage in Intrafirm Networks” A. Kleinbaum
“Structural Holes and Good Ideas” R. Burt

6. Les relations et la structure réseau
Les plus puissants prédicteurs du comportement
“Research into networks reveal that, surprisingly,
the most connected people inside a tight group
within a single industry are less valuable than the
people who span the gaps ...”
6
“…jumping from ladder to ladder is a more
effective strategy, and that lateral or even
downward moves across an organization are more
promising in the longer run . . .”

7. Ce sont des notions contre-
intuitives
7

8. …que j'espere ont piqué votre curiosité
8

9. • Structure réseau et prédictions
• Neo4j et la science des données orientée
graphe (GDS)
• Étapes de la GDS
Vue d’ensemble

11. Les relations
Sont les + puissants prédicteurs du comportement
“Increasingly we're learning that you can make
better predictions about people by getting all the
information from their friends and their friends’
friends than you can from the information you have
about the person themselves”
James Fowler
11

12. Popularité croissante des bases de données graphe
Tendance depuis 2013
DB-Engines.com
12

13. Les graphes accélèrent l’innovation en IA
13
4,000
3,000
2,000
1,000
0
2011 2012 2013 2014 2015 2016 2017 2018
Citations dans Dimension
Knowledge System
graph neural network
graph convolutional
graph embedding
graph learning
graph attention
graph kernel
graph completion
Articles de recherche en IA utilisant les graphes
Source: Dimension Knowledge System

14. Infractions
financières Recommandations
Cybersécurité
Maintenance
prédictive
Segmentation
Clientèle
Prédiction
d’attrition
Recherche & Gestion
des données de
référence
Applications en science des données orientée graphe
EXEMPLES
Découverte de
médicaments
14

15. De Meilleures Prédictions Avec Les Graphes
Utilisez les Données Dont Vous Disposez Déjà
• Les modèles actuels en science des données négligent la structure réseau
• Les Graphes apportent des caractéristiques fortement prédictibles aux modèles ML,
améliorant leur précision
• Les prédictions basées sur les relations sont irréalisables sans le contexte graphe
Pipeline d’Apprentissage Automatisé
15

16. Prise en main
16

17. Construction d’un modèle ML orienté graphe
Graph
Transactions
Graph
Analytics
Agrégation & nettoyage de
données hétérogènes
Création de modèles
prédictifs
Unification des graphes
Ingénierie des caractéristiques
SQL
Parquet
JSON
CSV
FILE
and more...
17
Sources de
Données
Plate-forme de Graphe
native
Apprentissage
automatisé

18. Science des données
orientée graphe:
Trajectoire
18

19. Les apports de la science des données
orientée graphe
Meilleures
décisions
Graphes de
connaissance
Précision
accrue
Ingénierie des
caractéristiques
connectées
Plus de confiance et
de pertinence
Apprentissage
orienté graphe
nativement
19

20. Science des données orientée graphe -
Trajectoire
Graphes de
connaissance
axés recherche
Ingénierie des
caractéristiques
axée recherche
Ingénierie des
caractéristiques
augmentée par les
algorithmes de
graphe
Projections de
graphes
Réseaux de neurones
orientés graphe
Graphes de
connaissance
Ingénierie des
caractéristiques
orientée graphe
Apprentissage
nativement
orienté graphe
20

21. Science des données orientée graphe -
Trajectoire
Graphes de
connaissance
axés recherche
Ingénierie des
caractéristiques
axée recherche
Ingénierie des
caractéristiques
augmentée avec les
algorithmes de
graphe
Projections de
graphe
Réseaux de neurones
orientés graphes
21

22. has become...
22
Plusieurs graphes d’information financière superposés
Inclut des données d’entreprise avec relations internes, des fils d’information
externes, et une pondération personnalisable
Graphes de connaissance axés recherche
Relier les points

23. Graphes de connaissance axés recherche
Relier les points
Tableaux de bord et outils
• Risques de crédit
• Risques liés aux placements
• Recommandations portefeuille
personnalisées
renommée...
23
1 Week Snapshot:
800,000 shortest path calculations for
the ranked newsfeed. Each calculation
optimized to take approximately 10 ms

24. Science des données orientée graphe -
Trajectoire
Graphes de
connaissance
axés recherche
Ingénierie des
caractéristiques
axée recherche
Graph Algorithm
Feature
Engineering
Projections de
graphes
Réseaux de neurones
orientés graphe
24

25. Les réseaux de télécommunications sont facilement représentés sous forme de graphes.
Ingénierie des caractéristiques axée recherche
Prédiction d’attrition - Telecom

26. Requêtes performantes dans un graphe natif
Ingénierie des caractéristiques axée recherche
Prédiction d’attrition - Telecom
Prédiction d’attrition.
La recherche a montré que des
caractéristiques simples conçues à la
main sont fortement prédictives
• Combien d'appels ou de SMS un
compte a-t-il effectués ?
• Combien parmi ses contacts ont
résilié leur contrat ?

27. 27
Ingénierie des caractéristiques axée recherche
Prédiction d’attrition - Telecom
Ajout aux données tabulaires de caractéristiques connectées
Ces caractéristiques sont les résultats de requêtes dans le graphe
Raw Data:
Call Detail Records
Input Data:
CDR Sample
Call Stats by:
Incoming
Outgoing
Per day
Short durations
In-network
Centrality
SMS’s
…
Test/Training Data
Caller ID
Receiver ID
Time
Duration
Location
…
Caller ID
Receiver ID
Time
Duration
Location
…
Identify Early Predictors:
Select simple, interpretable metrics
that are highly correlated w/churn
Churn Score:
Supervised learning to predict binary
& continuous measures of churn
Output/Results
Random
Sample
Selection
Feature
Engineering

28. 28
Ingénierie des caractéristiques axée recherche
Prédiction d’attrition - Telecom
Précision de 89.4% dans la prédiction
d’attrition d’un abonné !
Raw Data:
Call Detail Records
Input Data:
CDR Sample
Call Stats by:
Incoming
Outgoing
Per day
Short durations
In-network
Centrality
SMS’s
…
Test/Training
Data
Caller ID
Receiver ID
Time
Duration
Location
…
Caller ID
Receiver ID
Time
Duration
Location
…
Identify Early Predictors:
Select simple, interpretable metrics
that are highly correlated w/churn
Churn Score:
Supervised learning to predict binary
& continuous measures of churn
Output/Results
Random
Sample
Selection
Feature
Engineering
Source: Behavioral Modeling for Churn Prediction by Khan et al, 2015

29. Science des données orientée graphe -
Trajectoire
Graphes de
connaissance
axés recherche
Ingénierie des
caractéristiques
axée recherche
Ingénierie des
caractéristiques
augmentée par les
algorithmes de
graphe
Projections de
graphes
Réseaux de
neurones orientés
graphe
29

30. Algorithmes de graphe
• Un sous-ensemble d’algorithmes de science des données provenant de la science des
réseaux ; les algorithmes de graphe permettent d’analyser la structure des réseaux
• Les algorithmes de graphe sont très demandés, neo4j est la 1ère solution pour les exécuter
de façon industrielle
• Des recherches approfondies montrent que les algorithmes de graphe rendent les modèles
de machine learning plus précis dans des cas d'utilisation clés
• Les algorithmes de graphe sont généralement non supervisés et divisés en catégories :
Recherche de
chemins
Centralité
Détection de
communautés
Prédiction de lien Similarité

31. 31
Algorithmes de graphe - utilisation
Explorer, Planifier, Mesurer
Déterminer des modèles significatifs et
planifier des structures optimales
Évaluer les résultats et fixer un seuil pour
une prédiction
Sélection de variables pour
le Machine Learning
Les mesures deviennent des variables
à entraîner
1st
Node
2nd
Node
Common
Neighbors
Preferential
Attachment
Label
1 2 4 15 1
3 4 7 12 1
5 6 1 1 0

32. Ingénierie des caractéristiques
orientée graphe
L’ingénierie des caractéristiques est la façon dont nous combinons et
traitons les données pour créer de nouvelles caractéristiques plus
significatives, comme des agrégats ou des mesures de connectivité
Apport de caractéristiques +descriptives
Influence, Relations, Communautés
EXTRACTION
32

33. Ingénierie des caractéristiques orientée graphe
Catégories et Algorithmes
Recherche de
chemin
Trouve les chemins optimaux ou
évalue la disponibilité” et la qualité
des itinéraires
Centralité /
Importance
Détermine l’importance de
noeuds spécifiques du graphe
Détection de
communauté
Détecte les possibilités de
partition ou d’agrégation de
groupes
Prediction heuristique
de lien
Estime la probabilité que des
noeuds forgent une relation
Évalue à quel point les
noeuds se ressemblent
Similarité
33

34. • Degree Centrality
• Closeness Centrality
• CC Variations: Harmonic, Dangalchev,
Wasserman & Faust
• Betweenness Centrality
• Approximate Betweenness Centrality
• PageRank
• Personalized PageRank
• ArticleRank
• Eigenvector Centrality
• Triangle Count
• Clustering Coefficients
• Connected Components (Union Find)
• Strongly Connected Components
• Label Propagation
• Louvain Modularity
• Balanced Triad (identification)
• Euclidean Distance
• Cosine Similarity
• Jaccard Similarity
• Overlap Similarity
• Pearson Similarity
Algorithmes de graphes dans Neo4j
• Parallel Breadth First Search
• Parallel Depth First Search
• Shortest Path
• Single-Source Shortest Path
• All Pairs Shortest Path
• Minimum Spanning Tree
• A* Shortest Path
• Yen’s K Shortest Path
• K-Spanning Tree (MST)
• Random Walk
• Degree Centrality
• Closeness Centrality
• CC Variations: Harmonic, Dangalchev,
Wasserman & Faust
• Betweenness Centrality
• Approximate Betweenness Centrality
• PageRank
• Personalized PageRank
• ArticleRank
• Eigenvector Centrality
• Triangle Count
• Clustering Coefficients
• Connected Components (Union Find)
• Strongly Connected Components
• Label Propagation
• Louvain Modularity
• Balanced Triad (identification)
• Euclidean Distance
• Cosine Similarity
• Jaccard Similarity
• Overlap Similarity
• Pearson Similarity
Recherche
de chemins
Centralité /
Importance
Détection de
communautés
Similarité
Prédiction
de lien
• Adamic Adar
• Common Neighbors
• Preferential Attachment
• Resource Allocations
• Same Community
• Total Neighbors
34

35. Les caractéristiques “graphe”
améliorent la précision
Connected components pour identifier les
graphes disjoints qui partagent des identifiants
PageRank pour mesurer l’influence et le volume
des transactions
Louvain pour identifier les communautés qui
interagissent fréquemment
Jaccard pour mesurer la similarité des comptes
Ingénierie des caractéristiques augmentée par les
algorithmes de graphe
Détection de la fraude financière
Les grandes institutions financières disposent de mécanismes pour identifier la
fraude par le biais d’heuristiques et de modèles
35

36. Science des données orientée graphe -
Trajectoire
Graphes de
connaissance
axés recherche
Ingénierie des
caractéristiques
axée recherche
Ingénierie des
caractéristiques
augmentée par les
algorithmes de
graphe
Projections de
graphes
Réseaux de neurones
orientés graphe
36

37. Les projections transforment les graphes en vecteurs de caractéristiques, ou
ensemble de vecteurs, qui décrivent la topologie, la connectivité ou les
propriétés des noeuds et des relations dans le graphe
Projections de graphes
• Projection Vertex/node : décrit la connectivité de chaque noeud
• Projection Path: traversées dans le graphe
• Projections Graph : encoder un graphe entier en un unique vecteur
Phases of Deep Walk Approach
37

38. Projections de graphe RECOMMANDATIONS
Raisonnement explicite utilisant les graphes de
connaissance pour la recommandation de musique
38
Pop
Folk
Castle on the Hill
÷ Album
Ed Sheeran
I See FireTony
Shape of You
SungBy IsSingerOf
Interact
Produce
WrittenBy
Derek
Recommendations
for Derek
0.06
0.24
0.24
0.26
0.03
0.30
.63

39. Science des données orientée graphe -
Trajectoire
Graphes de
connaissance
axés recherche
Ingénierie des
caractéristiques
axée recherche
Ingénierie des
caractéristiques
augmentée par les
algorithmes de
graphe
Projections de
graphes
Réseaux de neurones
orientés graphe
39

40. “The idea is that graph networks are bigger than any
one machine-learning approach.
Graphs bring an ability to generalize about structure
that the individual neural nets don't have.”
"La cognition humaine part
du principe que le monde est
composé d’objets et de
relations”
40
"Les calculs sur les graphes
offrent un potentiel inductif
bien supérieur aux couches
convolutives et récurrentes”

41. Apprentissage nativement orienté graphe:
La prochaine révolution de l’IA
41
Implémenter l’apprentissage automatisé dans un environnement de graphes
permet de créer des solutions d’IA +précises, +flexibles et +fiables
Relational inductive biases, deep learning, and graph networks
L’apprentissage nativement orienté graphe fait sortir l’IA de ses boîtes noires rigides
pour créer des modèles extrêmement flexibles et transparents.
Permet aux utilisateurs
d’ingérer des données
connectées
Apprend tout en
sauvegardant les
états transitoires
Produit les résultats
sous forme de
graphes
Permet aux experts de
suivre, comprendre et
valider les chemins de
prise de décision de l’IA
Apprentissage + précis
avec - de données basé
sur les caractéristiques
importantes

42. Science des données orientée graphe -
trajectoire
Graphes de
connaissance
axés recherche
Ingénierie des
caractéristiques
axée recherche
Ingénierie des
caractéristiques
augmentée par les
algorithmes de graphe
Projections de
graphes
Réseaux de neurones
orientés graphe
Graphes de
connaissance
Ingénierie des
caractéristiques
orientée graphe
42
Apprentissage
nativement
orienté graphe

43. Science des données
orientée graphe
aller plus loin
dans l'analyse de vos données
43

44. Ressources
Utilisateurs Métier – Livre blanc
IA
neo4j.com/use-cases/
artificial-intelligence-analytics/
Data Scientists et Développeurs
neo4j.com/sandbox
neo4j.com/developer
community.neo4j.com
neo4j.com/graph-algorithms-book
44

45. 45
“AI is not all about Machine Learning.
Context, structure, and reasoning are
necessary ingredients, and Knowledge
Graphs and Linked Data are key
technologies for this.”
Wais Bashir
Managing Editor, Onyx Advisory

46. 46
Dr. Jesús Barrasa
EMEA Sales Engineering Director
@BarrasaDV