Orange: unificar logs, eventos y métricas con Elastic

•

1 recomendación•401 vistas

Cómo Orange se apoya en Elastic para unificar logs, eventos y métricas de diverso equipamiento de su red y de desarrollos internos, maximizar la observabilidad de todos esos datos y poder actuar ágil y eficazmente de la forma más autónoma posible.

Tecnología

1
Carlos Fernández Fernández
Nov 20, Red/PS, Orange
Orange: uniﬁcar logs, eventos y
métricas con Elastic

2
Agenda
Orange España
¿Quiénes somos?
Pasado, presente y futuro
Datos, datos y más datos
Y ahora, ¿qué hago con tantos datos?
Observabilidad
1
2
3
4
5

5
Agenda
Orange España
¿Quiénes somos?
Pasado, presente y futuro
Datos, datos y más datos
Y ahora, ¿qué hago con tantos datos?
Observabilidad
1
2
3
4
5

6
2018 - 2019
Beats
filebeat
metricbeat
traps
SNMP
Bulk API
Collectd
Kafka
Messagin
g
Queue
Nodes (2)
Logstash
filter
Elasticsearch
Kibana
Grafana
Instances (3)
Master Nodes (3)
Data Nodes (2)
Nodes (2)
Logstash
input
SNMP
Nodes (2)
Nodes (2)
Load
Balancer
Notification, escalation
ticket procesing…

7
2019 - 2020
Beats
Log Files
Metrics
traps
SNMP
Bulk API
Collectd
ECE
Grafana
Zone 1
Zone 3Nodes (5)
Logstash
SNMP
Nodes (2)
Firewalls
+
Load
Balancer
Zone 2
Telemetry
f
Nodes (2)
Notification, escalation
ticket procesing…
Snapshots

8
2020 - 2021
f
Beats
Log Files
Metrics
traps
SNMP
Bulk API
Collectd
ECE
Grafana
Nodes (2)
Zone 1
(x2)
Zone 3
(x2)
Nodes (5)
Logstash
SNMP
Nodes (2)
Firewalls
+
Load
Balancer
Notification, escalation
ticket procesing…
Zone 2
(x2)
SnapshotsTelemetry

9
Agenda
Orange España
¿Quiénes somos?
Pasado, presente y futuro
Datos, datos y más datos
Y ahora, ¿qué hago con tantos datos?
Observabilidad
1
2
3
4
5

10
Ericsson
Juniper
Nokia
Cisco
Huawei
Paloalto
Arbor
Stonegate

11
ECE on-premise
14 clusters
55000M docs
1000 indices
+17000 eps
• Uno por grupo
• Ingestas individualizadas
• Recursos personalizados
• Autogestión
• Retención general de 2
meses
• ILM por tiempo/tamaño
• Hot/Warm/Delete
• Eventos parseados y
tratados solo en Logstash
• Logstash en GitLab

12
Agenda
Orange España
¿Quiénes somos?
Pasado, presente y futuro
Datos, datos y más datos
Y ahora, ¿qué hago con tantos datos?
Observabilidad
1
2
3
4
5

13
Zero Human Touch
¿Qué es?
• Solución automatizada al
tratamiento de datos
• Correlador de eventos
• Gestión de incidencias
• Basado en Python/Django
• Microservicios dockerizados

14
Zero Human Touch
¿Por qué no algo ya existente?
• Adaptado a nuestras
necesidades
• Conocimiento de nuestros
datos
• Nuevos skills

17
• Inicio
• Notificación
• Ejecución
• Comprobación
• Resolución
• Cierre
Zero Human Touch
Flujos, estados y transiciones

18
Zero Human Touch
Ciclo de vida de un caso de uso
• Query de recuperación
• Timers
• Resultado de acciones

19
Zero Human Touch
Algunas estadísticas
Casos de uso
deﬁnidos en el
portal
Acciones
Acciones ejecutadas de
forma automática
350 55K

20
Agenda
Orange España
¿Quiénes somos?
Pasado, presente y futuro
Datos, datos y más datos
Y ahora, ¿qué hago con tantos datos?
Observabilidad
1
2
3
4
5

21
Observability
Los 3 pilares
Logs Métricas Trazas

Más contenido relacionado

Similar a Orange: unificar logs, eventos y métricas con Elastic

Real-Time y Big Data: descubre el poder de tus datos

Esri España

Se describen los patrones de comportamiento en el uso y la interacción con las redes sociales (Twitter, en especial), destacó la tendencia actual a consumir y distribuir los mensajes con los que estamos de acuerdo e hizo referencia a los problemas de Twitter derivados de la existencia de prácticas deshonestas (bots, perfiles y seguidores falsos, etc.). Posteriormente, detalló los programas informáticos que utiliza para descargar los datos de Twitter y visualizar las relaciones que existen entre los usuarios y lo acompañó de varios ejemplos que muestran los flujos de mensajes y algunas anomalías que le sirven para detectar los perfiles artificiales.

Mariluz Congosto (2019). Social network analysis: una herramienta para desenm...

cricc

Practicas de Laboratorio Ingeniería de Las Telecomunicaciones

ymmontillam

Jorge Quilcate, Confluent, Solutions Architect Apache Kafka es una plataforma open-source de streaming de eventos, que permite construir aplicaciones y procesar eventos a medida que van ocurriendo. Esta presentación práctica cubre cómo funciona Kafka y sus conceptos más importantes. Como sistema de datos escalable, Kafka tiene la capacidad de almacenar y procesar datos cerca a tiempo real; y puede ser usado para una amplia variedad de casos de uso como: mensajería, base de datos, procesamiento y agregación de streams de datos, y más. En esta presentación se explicará qué es una plataforma de streaming de eventos como Apache Kafka, junto a los casos de uso y patrones que permite implementar. Se demostrará cómo empezar a utilizar Kafka y crear aplicaciones a distintas escalas. https://www.meetup.com/Mexico-Kafka/events/272991849/

Eventos, Escalabilidad, y la Nube.

confluent

2016 ULL Cabildo KEEDIO - BigData

KEEDIO

Big Data: Experiencias (académicas) reales

Marcos Colebrook-Santamaria

Hackon URJC

Lucas Fernández Aragón

Gb wipoq@s

LATIPAT

Big Data in Smart Port

GIS_ULPGC

Informatica forense i

Daniel Guti

Arquitectura funcional y de interoperabilidad para el catastro multipropósito

julian mauricio alvarado torres

Presentacion GIRONA 2016

GIS_ULPGC

Cloud Computing y MapReduce

Jose Emilio Labra Gayo

Tecnologías Semánticas para análisis político y legislativo

Francisco Cifuentes Silva

[Jecas2018] entorno de computo estadistico en e datos

Instituto Canario de Estadística (ISTAC)

Similar a Orange: unificar logs, eventos y métricas con Elastic (15)

Real-Time y Big Data: descubre el poder de tus datos

Mariluz Congosto (2019). Social network analysis: una herramienta para desenm...

Practicas de Laboratorio Ingeniería de Las Telecomunicaciones

Eventos, Escalabilidad, y la Nube.

2016 ULL Cabildo KEEDIO - BigData

Big Data: Experiencias (académicas) reales

Hackon URJC

Gb wipoq@s

Big Data in Smart Port

Informatica forense i

Arquitectura funcional y de interoperabilidad para el catastro multipropósito

Presentacion GIRONA 2016

Cloud Computing y MapReduce

Tecnologías Semánticas para análisis político y legislativo

[Jecas2018] entorno de computo estadistico en e datos

Más de Elasticsearch

The hallmark of a great search experience is always delivering the most relevant results, quickly, to every user. The difficulty lies behind the scenes in making that happen elegantly and at a scale. From App Search’s intuitive drag and drop interface to the advanced relevance capabilities built into the core of Elasticsearch — Elastic offers a range of tools for developers to tune relevance ranking and create incredible search experiences. In this session, we’ll explore some of Elasticsearch’s advanced relevance ranking features, such as dense vector fields, BM25F, ranking evaluation, and more. Plus we’ll give you some ideas for how these features are being used by other Elastic users to create world-class, category defining search experiences.

An introduction to Elasticsearch's advanced relevance ranking toolbox

Elasticsearch

Eze Castle Integration is a managed service provider (MSP), cloud service provider (CSP), and internet service provider (ISP) that delivers services to more than 1,000 clients around the world. Different departments within Eze Castle have devised their own log aggregation solutions in order to provide visibility, meet regulatory compliance requirements, conduct cybersecurity investigations, and help engineers with troubleshooting infrastructure issues. In 2019, they partnered with Elastic to consolidate the data generated from different systems into a single pane of glass. And thanks to the ease of deployment on Elastic Cloud, professional consultation services from Elastic engineers, and on-demand training courses available on Elastic Learning, Eze Castle was able to go from proof-of-concept to a fully functioning ""Eze Managed SIEM"" product within a month! Learn about Eze Castle's journey with Elastic and how they grew Eze Managed SIEM from zero to 100 customers In less than 14 months.

From MSP to MSSP using Elastic

Elasticsearch

Descubre lo fácil que es crear búsquedas relevantes y enriquecidas en sitios web de cara al público para impulsar las conversiones, incrementar el consumo de contenido y ayudar a los visitantes a encontrar lo que necesitan. Realiza un recorrido por las herramientas de Elastic a las que puedes sacar partido para transformar con facilidad tu sitio web, lo que incluye nuestro nuevo y potente rastreador web.

Cómo crear excelentes experiencias de búsqueda en sitios web

Elasticsearch

Al igual que la mayoría de las organizaciones modernas, tus equipos probablemente usan más de 10 aplicaciones basadas en la nube a diario, pero dedican demasiado tiempo a buscar la información que necesitan en todas estas. Gracias a las características integradas de Elastic Workplace Search, podrás comprobar lo sencillo que resulta poner el contenido relevante al alcance de tus equipos gracias a la búsqueda unificada para todas las aplicaciones que usan para llevar a cabo su trabajo.

Te damos la bienvenida a una nueva forma de realizar búsquedas

Elasticsearch

Découvrez pourquoi Elastic Cloud est la solution idéale pour exploiter toutes les offres d'Elastic. Bénéficiez d'une flexibilité d'achat et de déploiement au sein de Google Cloud, de Microsoft Azure, d'Amazon Web Services ou des trois à la fois. Apprenez quels avantages vous apporte une offre de service géré et déterminez la solution qui vous permet de la gérer par vous-même grâce à des outils intégrés d'automatisation et d'orchestration. Et ce n'est pas tout ! Familiarisez-vous avec les fonctionnalités qui peuvent vous aider à scaler vos opérations au fur et à mesure de l'évolution de votre déploiement, à stocker vos données d'une manière rentable et à optimiser vos recherches. Ainsi, vous n'aurez plus à abandonner de données et obtiendrez les informations exploitables dont vous avez besoin pour assurer le fonctionnement de votre entreprise.

Tirez pleinement parti d'Elastic grâce à Elastic Cloud

Elasticsearch

Comment transformer vos données en informations exploitables

Elasticsearch

À l'instar de la plupart des entreprises modernes, vos équipes utilisent probablement plus de 10 applications hébergées dans le cloud chaque jour, mais passent aussi bien trop de temps à chercher les informations dont elles ont besoin dans ces outils. Grâce aux fonctionnalités prêtes à l'emploi d'Elastic Workplace Search, découvrez combien il est facile de mettre le contenu pertinent à portée de la main de vos équipes grâce à une recherche unifiée sur l'ensemble des applications qu'elles utilisent pour faire leur travail.

Plongez au cœur de la recherche dans tous ses états.

Elasticsearch

Modernising One Legal Se@rch with Elastic Enterprise Search [Customer Story]

Elasticsearch

An introduction to Elasticsearch's advanced relevance ranking toolbox

Elasticsearch

Like most modern organizations, your teams are likely using upwards of 10 cloud-based applications on a daily basis, but spending far too many hours a day searching for the information they need across all of them. With the out-of-the-box capabilities of Elastic Workplace Search, see how easy it is to put relevant content right at your teams’ fingertips with unified search across all the apps they rely on to get work done.

Welcome to a new state of find

Elasticsearch

Building great website search experiences

Elasticsearch

Keynote: Harnessing the power of Elasticsearch for simplified search

Elasticsearch

Cómo transformar los datos en análisis con los que tomar decisiones

Elasticsearch

Spécialisée dans le développement et la gestion de solutions de veille documentaire et commerciale, Explore offre à ses clients une lecture précise et organisée de l’actualités des marchés et projets sur leurs territoires d'intervention. Afin de rendre leur offre plus agile et performante, Explore a choisi l’offre Elastic Cloud hébergée sur Microsoft Azure. Découvrez comment les équipes de production et de développement sont désormais en mesure de mieux exploiter les données pour les clients d’Explore et gagnent du temps sur la gestion de leur infrastructure.

Explore relève les défis Big Data avec Elastic Cloud

Elasticsearch

Comment transformer vos données en informations exploitables

Elasticsearch

Transforming data into actionable insights

Elasticsearch

"Elastic enables the world’s leading organization to exceed their business objectives and power their mission-critical systems by eliminating data silos, connecting the dots, and transforming data of all types into actionable insights. Come learn how the power of search can help you quickly surface relevant insights at scale. Whether you are an executive looking to reduce operational costs, a department head striving to do more with fewer tools, or engineer monitoring and protecting your IT environment, this session is for you. "

Opening Keynote: Why Elastic?

Elasticsearch

It has now been four years since the beta release of Elastic Cloud Enterprise which kicked off a wave of the Elastic public sector community running Elastic as a service within Government rather than utilizing purely hosted solutions. Fast forward to 2021 and we have multiple options for multiple mission needs. Learn top tips from Elastic architects and their experience enabling their teams with the automation and provisioning of Elastic tech to change the game in how government delivers solutions.

Empowering agencies using Elastic as a Service inside Government

Elasticsearch

The opportunities and challenges of data for public good

Elasticsearch

Enterprise search and unstructured data with CGI and Elastic

Elasticsearch

Más de Elasticsearch (20)

An introduction to Elasticsearch's advanced relevance ranking toolbox

From MSP to MSSP using Elastic

Cómo crear excelentes experiencias de búsqueda en sitios web

Te damos la bienvenida a una nueva forma de realizar búsquedas

Tirez pleinement parti d'Elastic grâce à Elastic Cloud

Comment transformer vos données en informations exploitables

Plongez au cœur de la recherche dans tous ses états.

Modernising One Legal Se@rch with Elastic Enterprise Search [Customer Story]

An introduction to Elasticsearch's advanced relevance ranking toolbox

Welcome to a new state of find

Building great website search experiences

Keynote: Harnessing the power of Elasticsearch for simplified search

Cómo transformar los datos en análisis con los que tomar decisiones

Explore relève les défis Big Data avec Elastic Cloud

Comment transformer vos données en informations exploitables

Transforming data into actionable insights

Opening Keynote: Why Elastic?

Empowering agencies using Elastic as a Service inside Government

The opportunities and challenges of data for public good

Enterprise search and unstructured data with CGI and Elastic

Último

How to use Redis with MuleSoft. A quick start presentation.

FlorenciaCattelani

La sensibilidad al cobre por parte de microorganismos biolixiviadores es uno de los principales problemas que enfrenta la minería para mejorar los procesos de biolixiviación. En tal sentido, nosotros evaluamos la resistencia al cobre de un consorcio microbiano conformado por Sulfobacillus spp., y Acidithiobacillus ferrooxidans, el cual se propagó, en bioreactores de tanque aireado y agitado de 1 L, los cuales contenían medio 9K suplementado con hierro y concentraciones crecientes de cobre (200 mM, 400 mM, 600 mM, 800 mM y 1,000 mM) a 30°C con un pH de 1.6 durante 96 horas. Se colectó una muestra de cada biorreactor cada 8 horas, para realizar análisis, microscópicos y moleculares, además el cultivo del consorcio en placa mostró una resistencia al cobre hasta 1,000 mM.

Resistencia extrema al cobre por un consorcio bacteriano conformado por Sulfo...

JohnRamos830530

Avances tecnológicos del siglo XXI y ejemplos de estos

sgonzalezp1

Refrigerador_Inverter_Samsung_Curso_y_Manual_de_Servicio_Español.pdf

vladimiroflores1

PROYECTO FINAL. Tutorial para publicar en SlideShare.pptx

Alan779941

EL CICLO PRÁCTICO DE UN MOTOR DE CUATRO TIEMPOS.pptx

MiguelAtencio10

Avances tecnológicos del siglo XXI 10-07 eyvana

mcerpam

Innovaciones tecnologicas en el siglo 21

mariacbr99

EVOLUCION DE LA TECNOLOGIA Y SUS ASPECTOSpptx

JorgeParada26

pruebas unitarias unitarias en java con JUNIT

Maricarmen Sánchez Ruiz

Modulo-Mini Cargador.................pdf

AnnimoUno1

Orange: unificar logs, eventos y métricas con Elastic

1. 1 Carlos Fernández Fernández Nov 20, Red/PS, Orange Orange: uniﬁcar logs, eventos y métricas con Elastic

2. 2 Agenda Orange España ¿Quiénes somos? Pasado, presente y futuro Datos, datos y más datos Y ahora, ¿qué hago con tantos datos? Observabilidad 1 2 3 4 5

3. 33

4. 44 Orange en la sociedad

5. 5 Agenda Orange España ¿Quiénes somos? Pasado, presente y futuro Datos, datos y más datos Y ahora, ¿qué hago con tantos datos? Observabilidad 1 2 3 4 5

6. 6 2018 - 2019 Beats filebeat metricbeat traps SNMP Bulk API Collectd Kafka Messagin g Queue Nodes (2) Logstash filter Elasticsearch Kibana Grafana Instances (3) Master Nodes (3) Data Nodes (2) Nodes (2) Logstash input SNMP Nodes (2) Nodes (2) Load Balancer Notification, escalation ticket procesing…

7. 7 2019 - 2020 Beats Log Files Metrics traps SNMP Bulk API Collectd ECE Grafana Zone 1 Zone 3Nodes (5) Logstash SNMP Nodes (2) Firewalls + Load Balancer Zone 2 Telemetry f Nodes (2) Notification, escalation ticket procesing… Snapshots

8. 8 2020 - 2021 f Beats Log Files Metrics traps SNMP Bulk API Collectd ECE Grafana Nodes (2) Zone 1 (x2) Zone 3 (x2) Nodes (5) Logstash SNMP Nodes (2) Firewalls + Load Balancer Notification, escalation ticket procesing… Zone 2 (x2) SnapshotsTelemetry

9. 9 Agenda Orange España ¿Quiénes somos? Pasado, presente y futuro Datos, datos y más datos Y ahora, ¿qué hago con tantos datos? Observabilidad 1 2 3 4 5

10. 10 Ericsson Juniper Nokia Cisco Huawei Paloalto Arbor Stonegate

11. 11 ECE on-premise 14 clusters 55000M docs 1000 indices +17000 eps • Uno por grupo • Ingestas individualizadas • Recursos personalizados • Autogestión • Retención general de 2 meses • ILM por tiempo/tamaño • Hot/Warm/Delete • Eventos parseados y tratados solo en Logstash • Logstash en GitLab

12. 12 Agenda Orange España ¿Quiénes somos? Pasado, presente y futuro Datos, datos y más datos Y ahora, ¿qué hago con tantos datos? Observabilidad 1 2 3 4 5

13. 13 Zero Human Touch ¿Qué es? • Solución automatizada al tratamiento de datos • Correlador de eventos • Gestión de incidencias • Basado en Python/Django • Microservicios dockerizados

14. 14 Zero Human Touch ¿Por qué no algo ya existente? • Adaptado a nuestras necesidades • Conocimiento de nuestros datos • Nuevos skills

15. 15 Zero Human Touch El entorno

16. 16 Zero Human Touch ¿Cómo funciona?

17. 17 • Inicio • Notificación • Ejecución • Comprobación • Resolución • Cierre Zero Human Touch Flujos, estados y transiciones

18. 18 Zero Human Touch Ciclo de vida de un caso de uso • Query de recuperación • Timers • Resultado de acciones

19. 19 Zero Human Touch Algunas estadísticas Casos de uso deﬁnidos en el portal Acciones Acciones ejecutadas de forma automática 350 55K

20. 20 Agenda Orange España ¿Quiénes somos? Pasado, presente y futuro Datos, datos y más datos Y ahora, ¿qué hago con tantos datos? Observabilidad 1 2 3 4 5

21. 21 Observability Los 3 pilares Logs Métricas Trazas

22. 22

23. 23

24. 24

25. 25

26. 2626 Gracias!