EL CICLO PRÁCTICO DE UN MOTOR DE CUATRO TIEMPOS.pptx
Migración de un sistema de base de datos relacionales a grafos aplicados al negocio
1. Migración de un Sistema de Base de Datos
Relacionales a Grafos Aplicados al Negocio
Neo4j Graph Tour
México
Nov 12, 2019
2. Presentador
Edgar Vargas
❖ Ing. Matemático por la Escuela Politécnica
Nacional, Quito - Ecuador
❖ Experiencia en Banco Pichincha: 11 años
❖ Cargo actual: Data Architect, Centro Digital
❖ Twitter: @edgarin1st
❖ Instagram: edgarin1st
❖ Hobbies: triatlón, violín, Python
3. Cómo nace todo?
★ Investigación
★ Abiertos al uso Open Source vs software comercial
★ Creación de ambiente en test con VM
★ Necesidad de entender Big Data
○ Qué es?
○ Oportunidades de negocio
○ Retos
○ Estamos preparados para su adopción?
4. Metodología utilizada
Paso 1.
Levantamiento
Talleres con áreas clave:
Riesgo, Marketing, TI
Paso 2.
Entendimiento
Analíticas?
Procesos?
Técnicos?
Paso 3.
Priorización
Basados en Business Case
Paso 4.
Esquema de trabajo
Recolectar información
Analizar la información
Proponer solución
NECESIDADES
5. Necesidades priorizadas a resolver
Complejo? Genera valor? Objetivo
● Patrones ocultos
● Mitigación fraude
●
●
●
●
●
●
●
● patripsum dolor sit
● amet nec at adipiscing
● risus at dolor porta
2 Anillos de fraude
● Generaciones de nuevas oportunidades de
negocio
● Time to market
3 Sistema de
recomendaciones
● Calidad de datos
● Contactabilidad
● Cobranza efectiva
1 Similitud entre
direcciones de
residencia
6. Nuestro problema necesita ser
resuelto con grafos?
★ Dónde reside información? SQL
★ Limitaciones en esa época:
○ Data estructurada
○ Relaciones (patrones) son de antemano conocidas o construidas en la BBDD
○ Esquema estructurado no permite creación de matriz de distancias en grandes dimensiones
se requiere crear cruce cartesiano de información +RAM
9. Resultados de la PoC
★ Creación de ambiente en test (VM)
★ Instalación de Neo4j Enterprise
★ Capacitación a grupo objetivo
★ Importación de data (muestra aleatoria de 500k):
○ demográfica
○ pasivos
○ transacciones con tarjeta de crédito
○ direcciones de residencia
○ teléfonos celulares
○ emails
11. Resultados de la PoC
★ Calidad de datos:
○ detección de incoherencias
○ direcciones duplicadas
○ creación de relación: is_similar_to en
función a distancia de
levenshtein (APOC Neo4j)
12. Resultados de la PoC
★ Recomendación:
○ Tomar una persona
○ Determinar cuántas personas son
similares
○ qué productos tienen
○ Qué productos se le podría
recomendar
14. Resultados de la PoC
★ Alerta anillo de fraude:
○ basado en dirección similar (relación
creada para calidad de datos)
○ encontrar personas con duplicidad en
número de celular
correo
celular
15. Retos a los que nos enfrentamos
Técnicos
1. Hardware:
a. Cores
b. RAM
c. Storage SSD
2. On-premise/On-cloud
Culturales Nuevos skills
Por desarrollar
1. Nuevo equipo de soporte técnico in-house (5/8, 24/7)
2. Capacitación al personal
3. Crear esquemas de trabajo colaborativos
1. Compartir conocimiento
2. Estar abierto al uso de
nuevas tecnologías
1. Skills en NoSQL y
conocimiento en Grafos
2. Pasar de SQL (Structured
Query Language) a CQL
(Cypher Query Language)