Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Acquisition de données dans Neo4j pour le Master Data Management

Une base de données graphes convient parfaitement aux cas d'utilisation de Master Data Management, tels que la création d'une vue à 360 degrés du client. Les entités du monde réel telles que les clients, les produits et les tickets de support, ainsi que les relations entre eux, peuvent être directement modélisées dans le graphe, ce qui permet l'analyse et la visualisation de l'ensemble de données combiné.


Avant que cela ne se produise, les données doivent être collectées à partir d'un ensemble varié de sources et ingérées dans la base de données de graphes. Les données source peuvent être situées dans des fichiers plats, dans des bases de données relationnelles, dans des plates-formes basées sur le cloud ou même dans une file d'attente de messages.
Extraire des données de leur source, les transformer en la structure et le format requis et les charger dans la base de données graphes (processus ETL) peut être un projet majeure. L’écriture de scripts personnalisés ou l’utilisation d’outils traditionnels ETL donne lieu à une solution fragile qui échoue face à la modification des structures de données et aux exigences, telles que l’acquisition de données en continu.

Au cours de cette session, vous apprendrez à créer des pipelines de données robustes pour charger des données par lots et en continu dans Neo4j. Nous examinerons les particularités de différentes sources de données et examinerons des cas d'utilisation réels, tels que l'extraction de données clients du cloud et leur combinaison avec les données de produit d'une base de données relationnelle.

Au préalable, nous ferons une courte introduction à Neo4j avec Cédric Fauvet, Business Développement France chez Neo4j.

  • Login to see the comments

  • Be the first to like this

Acquisition de données dans Neo4j pour le Master Data Management

  1. 1. 1© StreamSets, Inc. All rights reserved. Acquisition de données dans Neo4j pour le Master Data Management
  2. 2. 2© StreamSets, Inc. All rights reserved. 2© StreamSets, Inc. All rights reserved. 1. Master Data Management 2. Product Support Use Case 3. Integrating StreamSets Data Collector with Neo4j 4. Demo 5. Wrap-up Agenda
  3. 3. 3© StreamSets, Inc. All rights reserved. 3© StreamSets, Inc. All rights reserved. StreamSets at a Glance Seasoned leadership team Customer base from global 8000 50% Identified commercial adopters 40% of F500 Open source downloads 2M+ Customer retention rate 95+% History of innovation
  4. 4. 4© StreamSets, Inc. All rights reserved. • Data resides in a number of stores according to its purpose, either on-premises or in the cloud • Data sets often overlap – which is the ‘source of truth’? • Hard to draw insights from data scattered across multiple systems • Master Data Management is the practice of building a single point of reference from which insights can be drawn Master Data Management
  5. 5. 5© StreamSets, Inc. All rights reserved. Traditionally, master data set resided in a relational database But… What if you could use use Neo4j to model master data as graphs, allowing analysis of relationships unavailable in traditional row/column data stores? Step 1: Getting the data from operational systems into Neo4j MDM and Neo4j
  6. 6. 6© StreamSets, Inc. All rights reserved. Customer service platform (SaaS) holds support ticket status, assignment to support engineers HR system (on-premise relational database) is source of truth for organization’s reporting hierarchy Device monitoring system (flat delimited files) provides fault data How do we bring them together to get a holistic view? Use Case: Product Support
  7. 7. 7© StreamSets, Inc. All rights reserved. The StreamSets DataOps Platform Data Lake
  8. 8. 8© StreamSets, Inc. All rights reserved. A Swiss Army Knife for Data
  9. 9. 9© StreamSets, Inc. All rights reserved. Demo
  10. 10. 10© StreamSets, Inc. All rights reserved. Other Common StreamSets Use Cases Data Lake Replatforming IoT Cybersecurity Real-time applications
  11. 11. 11© StreamSets, Inc. All rights reserved. Customer Success “We chose StreamSets over NiFi as our enterprise-wide standard for our next generation data lake infrastructure because of their singular focus on solving deployment and operations challenges.” “StreamSets allowed us to build and operate over 175,000 pipelines and synchronize 97% of our structured data in R&D to our Data Lake within 4 months. This will save us billions of dollars.” “It’s simple and easy enough that we don’t need to find a StreamSets developer to create their own data pipelines. Before, it could take 90 days just to find a traditional ETL developer.”
  12. 12. 12© StreamSets, Inc. All rights reserved. Neo4j can provide insights into master data that are not available when the data is spread across silos, or even collected into a relational model Neo4j’s JDBC driver provides flexible, standard connectivity StreamSets Data Collector can read data from a wide variety of sources and write to Neo4j via Cypher and the JDBC driver Conclusion
  13. 13. 13© StreamSets, Inc. All rights reserved. Neo4j and Master Data Management neo4j.com/use-cases/master-data-management/ Neo4j JDBC Driver github.com/neo4j-contrib/neo4j-jdbc Download StreamSets streamsets.com/opensource StreamSets Community streamsets.com/community References
  14. 14. 14© StreamSets, Inc. All rights reserved. Thank you 14© StreamSets, Inc. All rights reserved. Antonin Bruneau antonin@streamsets.com Leonardo L’Ecaros leonardo@streamsets.com

×