Comment le contexte rend l’IA plus fiable et plus efficace ? - Webinaire 11 février 2020

1. Neo4j webinar Comment le contexte rend l’IA plus fiable et plus efficace ? Nicolas ROUYER 11 février 2020 I haven’t fallen in love with any of the titles for this talk. • Emil likes the simple ”Make better Predictions”

2. GraphTour 2020

3. Evénéments Neo4j 2020 ● Big Data Paris 9-10 mars 2020 ● GraphTour Paris 26 mars 2020 ● formations gratuites 1 / trimestre ● webinaires ● meetups (Paris / Toulouse / Lyon / Bordeaux)

4. Flexible 4 Neo4j Aura Fiable Conçu pour les développeurs ● Zéro Maintenance ● Scalable à la demande ● Tarification simple, basé sur la capacité ● Haute disponibilité et auto- réparation, configuration en mode cluster ● Intégrité & durabilité des données ● Sécurité avec cryptage de bout en bout ● Performance graphe native ● Le langage de requête de graphes le plus populaire au monde ● Prise en charge de nombreux langages - pilotes pour Java, .NET, JavaScript, Python, Go, Spring, etc.

5. 5 Neo4j 4.0

6. 6 Neo4j 4.0 : Le + gros investissement jamais vu dans les bases de données graphes Construit sur les solides fondations natives de Neo4j, Neo4j 4.0 apporte : ● Une évolutivité illimitée avec le sharding et la fédération ● Une architecture 100% réactive pour des applications modernes ● Des contrôles de sécurité granulaires pour la sécurité et la vie privée ● Souplesse de déploiement grâce au multi-database

7. Contexte complexe... Exemple : voitures connectées

8. Un contexte se représente par un graphe Exemple : réalité augmentée

9. Pouvez-vous prédire si une personne va voter en fonction de son entourage ? Les graphes peuvent le faire.

10. Les relations et la structure réseau Sont les plus puissants prédicteurs de comportement & de résultats complexes “Research into networks reveal that, surprisingly, the most connected people inside a tight group within a single industry are less valuable than the people who span the gaps ...” 10 “…jumping from ladder to ladder is a more effective strategy, and that lateral or even downward moves across an organization are more promising in the longer run . . .”

11. Photo by Helena Lopes on Unsplash La structure réseau a un pouvoir prédictif élevé sur la rémunération, les promotions et les appréciations • Personnes proches des trous structurels • Défaillances organisationnelles “Organizational Misfits and the Origins of Brokerage in Intrafirm Networks” A. Kleinbaum “Structural Holes and Good Ideas” R. Burt

12. Ce n’est pas ce que vous savez

13. Mais qui vous connaissez Et où ils sont

14. Il y a quelques notions contre- intuitives 14

15. Et j’espère qu’elles ont éveillé votre intérêt 15

16. Structure réseau et prédictions Neo4j et la science des données orientée graphe Les étapes de la science des données orientée graphe Vue d’ensemble

17. Les plates-formes de graphe natives sont spécialement conçues pour les données connectées PLATES-FORMES TRADITIONNELLES TECHNOLOGIE BIG DATA Stocker et récupérer des données Agréger et filtrer les données Connections dans les données Stockage et extraction en temps réel Connaissances connectées en temps réel Agrégation et filtrage des requêtes longues “Our Neo4j solution is literally thousands of times faster than the prior MySQL solution, with queries that require 10-100 times less code” Volker Pacher, Senior Developer # maxi de sauts ~3 Millions 17

18. Popularité croissante des bases de données graphe Tendance depuis 2013 DB-Engines.com 18

19. Les graphes accélèrent l’innovation en IA 19 4,000 3,000 2,000 1,000 0 2010 2011 2012 2013 2014 2015 2016 2017 2018 Citations dans Dimension Knowledge System graph neural network graph convolutional graph embedding graph learning graph attention graph kernel graph completion Articles de recherche en IA utilisant les graphes Source: Dimension Knowledge System

20. Infractions financières Recommandations Cybersécurité Maintenance prédictive Segmentation Clientèle Prédiction d’attrition Recherche & Gestion des données de référence Applications en science des données orientée graphe EXEMPLES Découverte de médicaments 20

21. De Meilleures Prédictions Avec Les Graphes Utilisez les Données Dont Vous Disposez Déjà • Les modèles actuels en science des données négligent la structure réseau • Les Graphes apportent des caractéristiques fortement prédictibles aux modèles ML, améliorant leur précision • Les prédictions basées sur les relations sont irréalisables sans le contexte graphe Pipeline d’Apprentissage Automatisé 21

22. Prise en main 22

23. Construction d’un modèle ML orienté graphe Graph Transactions Graph Analytics Agrégation & nettoyage de données hétérogènes Création de modèles prédictifs Unification des graphes Ingénierie des caractéristiques SQL Parquet JSON CSV FILE and more... 23 Sources de Données Plate-forme de Graphe native Apprentissage automatisé

24. Exploration des graphes Construire une solution graphe Passage à l’échelle Pipelines de données performants Bibliothèques robustes de ML Graphes non persistants, non-natifs Graphes persistants et dynamiques Requêtes graphe natives et algorithmes performants Liste croissante d’algorithmes de graphe et de graphes embarqués 24

25. Science des données orientée graphe Trajectoire 25

26. Les apports de la science des données orientée graphe Meilleures décisions Graphes de connaissance Précision accrue Ingénierie des caractéristiques connectées Plus de confiance et de pertinence Apprentissage orienté graphe nativement 26

27. Science des données orientée graphe - Trajectoire Graphes de connaissance axés recherche Ingénierie des caractéristiques axée recherche Ingénierie des caractéristiques augmentée par les algorithmes de graphe Projections de graphes Réseaux de neurones orientés graphe Graphes de connaissance Ingénierie des caractéristiques orientée graphe Apprentissage nativement orienté graphe 27

28. Science des données orientée graphe - Trajectoire Graphes de connaissance axés recherche Ingénierie des caractéristiques axée recherche Ingénierie des caractéristiques augmentée avec les algorithmes de graphe Projections de graphe Réseaux de neurones orientés graphes 28

29. Interroger les graphes de connaissance “Relier les points” devenue... 29 Plusieurs couches de graphes d'informations financières Données d’entreprises croisées avec des informations externes

30. Interroger les graphes de connaissance “Relier les points” Plusieurs graphes d’information financière superposés Inclut des données d’entreprise avec relations internes, des fils d’information externes, et une pondération personnalisable Tableaux de bord et outils • Risques de crédit • Risques liés aux placements • Recommandations portefeuille personnalisées devenue... 30

31. Science des données orientée graphe - Trajectoire Graphes de connaissance axés recherche Ingénierie des caractéristiques axée recherche Graph Algorithm Feature Engineering Projections de graphes Réseaux de neurones orientés graphe 31

32. Les réseaux de télécommunications sont facilement représentés sous forme de graphes. Ingénierie des caractéristiques axée recherche Prédiction d’attrition - Telecom

33. Requêtes performantes dans un graphe natif Ingénierie des caractéristiques axée recherche Prédiction d’attrition - Telecom Prédiction d’attrition. La recherche a montré que des caractéristiques simples conçues à la main sont fortement prédictives • Combien d'appels ou de SMS un compte a-t-il effectués ? • Combien parmi ses contacts ont résilié leur contrat ?

34. 34 Ingénierie des caractéristiques axée recherche Prédiction d’attrition - Telecom Ajout aux données tabulaires de caractéristiques connectées Ces caractéristiques sont les résultats de requêtes dans le graphe Raw Data: Call Detail Records Input Data: CDR Sample Call Stats by: Incoming Outgoing Per day Short durations In-network Centrality SMS’s … Test/Training Data Caller ID Receiver ID Time Duration Location … Caller ID Receiver ID Time Duration Location … Identification des facteurs prédictifs: Sélection de mesures simples et compréhensibles fortement corrélées avec le taux de churn Score de Churn : Apprentissage supervisé pour prédire des mesures discrètes et continues de churn Output/Results Random Sample Selection Feature Engineering Sélection de caractéristiques Apprentissage

35. 35 Ingénierie des caractéristiques axée recherche Prédiction d’attrition - Telecom Précision de 89.4% dans la prédiction d’attrition d’un abonné ! Raw Data: Call Detail Records Input Data: CDR Sample Call Stats by: Incoming Outgoing Per day Short durations In-network Centrality SMS’s … Test/Training Data Caller ID Receiver ID Time Duration Location … Caller ID Receiver ID Time Duration Location … Identify Early Predictors: Select simple, interpretable metrics that are highly correlated w/churn Churn Score: Supervised learning to predict binary & continuous measures of churn Output/Results Random Sample Selection Feature Engineering Feature Selection Machine Learning Source: Behavioral Modeling for Churn Prediction by Khan et al, 2015

36. Science des données orientée graphe - Trajectoire Graphes de connaissance axés recherche Ingénierie des caractéristiques axée recherche Ingénierie des caractéristiques augmentée par les algorithmes de graphe Projections de graphes Réseaux de neurones orientés graphe 36

37. Algorithmes de graphe, kézako ? • Un sous-ensemble d’algorithmes de science des données provenant de la science des réseaux ; les algorithmes de graphe permettent d’analyser la structure des réseaux • Les algorithmes de graphe sont très demandés, neo4j est la 1ère solution pour les exécuter de façon industrielle • Des recherches approfondies montrent que les algorithmes de graphe rendent les modèles de machine learning plus précis dans des cas d'utilisation clés • Les algorithmes de graphe sont généralement non supervisés et divisés en catégories : Recherche de chemins Centralité Détection de communautés Prédiction de lien Similarité

38. 38 Algorithmes de graphe - utilisation Explorer, Planifier, Mesurer Déterminer des modèles significatifs et planifier des structures optimales Évaluer les résultats et fixer un seuil pour une prédiction Sélection de variables pour le Machine Learning Les mesures deviennent des variables à entraîner 1st Node 2nd Node Common Neighbors Preferential Attachment Label 1 2 4 15 1 3 4 7 12 1 5 6 1 1 0

39. Ingénierie des caractéristiques orientée graphe L’ingénierie des caractéristiques est la façon dont nous combinons et traitons les données pour créer de nouvelles caractéristiques plus significatives, comme des agrégats ou des mesures de connectivité Apport de caractéristiques +descriptives Influence, Relations, Communautés EXTRACTION 39

40. Ingénierie des caractéristiques orientée graphe Catégories et Algorithmes Recherche de chemin Trouve les chemins optimaux ou évalue la disponibilité” et la qualité des itinéraires Centralité / Importance Détermine l’importance de noeuds spécifiques du graphe Détection de communauté Détecte les possibilités de partition ou d’agrégation de groupes Prediction heuristique de lien Estime la probabilité que des noeuds forgent une relation Évalue à quel point les noeuds se ressemblent Similarité 40

41. • Degree Centrality • Closeness Centrality • CC Variations: Harmonic, Dangalchev, Wasserman & Faust • Betweenness Centrality • Approximate Betweenness Centrality • PageRank • Personalized PageRank • ArticleRank • Eigenvector Centrality • Triangle Count • Clustering Coefficients • Connected Components (Union Find) • Strongly Connected Components • Label Propagation • Louvain Modularity • Balanced Triad (identification) • Euclidean Distance • Cosine Similarity • Jaccard Similarity • Overlap Similarity • Pearson Similarity Algorithmes de graphes dans Neo4j • Parallel Breadth First Search • Parallel Depth First Search • Shortest Path • Single-Source Shortest Path • All Pairs Shortest Path • Minimum Spanning Tree • A* Shortest Path • Yen’s K Shortest Path • K-Spanning Tree (MST) • Random Walk • Degree Centrality • Closeness Centrality • CC Variations: Harmonic, Dangalchev, Wasserman & Faust • Betweenness Centrality • Approximate Betweenness Centrality • PageRank • Personalized PageRank • ArticleRank • Eigenvector Centrality • Triangle Count • Clustering Coefficients • Connected Components (Union Find) • Strongly Connected Components • Label Propagation • Louvain Modularity • Balanced Triad (identification) • Euclidean Distance • Cosine Similarity • Jaccard Similarity • Overlap Similarity • Pearson Similarity Recherche de chemins Centralité / Importance Détection de communautés Similarité Prédiction de lien • Adamic Adar • Common Neighbors • Preferential Attachment • Resource Allocations • Same Community • Total Neighbors 41

42. Des questions d'une simplicité trompeuse Combien de comptes signalés se trouvent dans le réseau du demandeur à +4 sauts dans le graphe ? Combien de variables de connexion / de compte en commun ? Ajoutez ces paramètres à votre processus d'approbation Difficile pour les RDBMS au-delà de 3 jointures Ingénierie des caractéristiques augmentée par les algorithmes de graphe Détection de la fraude financière Les grandes institutions financières disposent de mécanismes pour identifier la fraude par le biais d’heuristiques et de modèles 42

43. Ingénierie des caractéristiques augmentée par les algorithmes de graphe Détection de la fraude financière Les caractéristiques “graphe” améliorent la précision Connected components pour identifier les graphes disjoints qui partagent des identifiants PageRank pour mesurer l’influence et le volume des transactions Louvain pour identifier les communautés qui interagissent fréquemment Jaccard pour mesurer la similarité des comptes

45. Les projections transforment les graphes en vecteurs de caractéristiques, ou ensemble de vecteurs, qui décrivent la topologie, la connectivité ou les propriétés des noeuds et des relations dans le graphe Projections de graphes • Projection Vertex/node : décrit la connectivité de chaque noeud • Projection Path: traversées dans le graphe • Projections Graph : encoder un graphe entier en un unique vecteur Phases of Deep Walk Approach 45

46. Projections de graphe RECOMMANDATIONS Raisonnement explicite utilisant les graphes de connaissance pour la recommandation de musique 46 Pop Folk Castle on the Hill ÷ Album Ed Sheeran I See FireTony Shape of You SungBy IsSingerOf ContainSongIsSongOf Interact IsSingerOf Genre Genre Genre InteractedBy Produce WrittenBy ListenedTo Derek Recommendations for Derek 0.06 0.24 0.24 0.26 0.03 0.30 .63

48. “The idea is that graph networks are bigger than any one machine-learning approach. Graphs bring an ability to generalize about structure that the individual neural nets don't have.” "La cognition humaine part du principe que le monde est composé d’objets et de relations” 48 "Les calculs sur les graphes offrent un potentiel inductif bien supérieur aux couches convolutives et récurrentes”

49. Apprentissage nativement orienté graphe: La prochaine révolution de l’IA 49 Implémenter l’apprentissage automatisé dans un environnement de graphes permet de créer des solutions d’IA +précises, +flexibles et +fiables Relational inductive biases, deep learning, and graph networks L’apprentissage nativement orienté graphe fait sortir l’IA de ses boîtes noires rigides pour créer des modèles extrêmement flexibles et transparents. Permet aux utilisateurs d’ingérer des données connectées Apprend tout en sauvegardant les états transitoires Produit les résultats sous forme de graphes Permet aux experts de suivre, comprendre et valider les chemins de prise de décision de l’IA Apprentissage + précis avec - de données basé sur les caractéristiques importantes

50. Science des données orientée graphe - trajectoire Graphes de connaissance axés recherche Ingénierie des caractéristiques axée recherche Ingénierie des caractéristiques augmentée par les algorithmes de graphe Projections de graphes Réseaux de neurones orientés graphe Graphes de connaissance Ingénierie des caractéristiques orientée graphe 50 Apprentissage nativement orienté graphe

51. Science des données orientée graphe aller plus loin dans l'analyse de vos données 51

52. Ressources Utilisateurs Métier – Livre blanc IA neo4j.com/use-cases/ artificial-intelligence-analytics/ Data Scientists et Développeurs neo4j.com/sandbox neo4j.com/developer community.neo4j.com neo4j.com/graph-algorithms-book 52

53. More Info and Variations 53

54. General Lead-in Good for those less graph aware 54

55. IT’S NOT WHAT YOU KNOW… IT’S WHO YOU KNOW. 55

56. FinServ Lead-in Slides 56

57. 57

58. 58

59. Predicting Financial Contagion From Global to Local 59

60. Gov Variations 60

61. Query-Based Knowledge Graphs Connecting the Dots at NASA MISSION TO MARS “Using Neo4j, someone from our Orion project found information from the Apollo project that prevented an issue, saving well over two years of work and one million dollars of taxpayer funds.” David Meza Chief Knowledge Architect NASA 61

62. Life Sciences 62

63. het.io - HetioNet Knowledge graph integrating 50+ years of biomedical data Leveraged to predict new uses for drugs by using the graph topology to create features to predict new links Query-Based Feature Engineering Mining Data for Drug Discovery 63

64. Query-Based Feature Engineering Mining Data for Drug Discovery het.io - HetioNet Knowledge graph integrating 50+ years of biomedical data Leveraged to predict new uses for drugs by using the graph topology to create features to predict new links 64

65. Query-Based Feature Engineering Mining Data for Drug Discovery 65

66. Example: electron path prediction Bradshaw et al, 2019 Graph Native Learning Given reactants and reagents, what will the products be? Given reactants and reagents, what will the products be? 66

67. Graph Native Learning EXAMPLE Electron Path Prediction 67