[Sildes] plateforme centralisée d’analyse des logs des frontaux http en temps réel dans un milieu virtualisé

Architecture serveur virtualisée
Emission, transport, formatage, stockage des logs
Analyse des « dimensions » et « metrics »
Guillaume MOCQUET
contact@guillaumemocquet.com
NFE204 - Paris, 28/01/2014

 10 années d’expériences dans le web
 Chef de projet technique web
 Passionné d’open source
 Ancien DevOps
 Aguerri aux sites à très fort trafic (~20 MVU/mois)
 Sensibilisé à la haute disponibilité (HA)
 Sensibilisé à la tolérance de panne (FT)
2© 2014 Guillaume MOCQUET

 Introduction
 Architecture serveur
◦ Les différents services
◦ Virtualisation
 Superviser le service web
◦ Pourquoi ?
◦ Identifier les anomalies
 Focus sur l’analyse des logs applicatifs
◦ Qu’est qu’un log ?
◦ Manipulation des données
 Problématiques liées au fort trafic
◦ Trouver les informations pertinentes
◦ Priorité au service applicatif
 Solution : chaîne Syslog, Logstash, ElasticSearch, Kibana
◦ Plus-value
◦ Présentation de l’Architecture globale
◦ Présentation des différents services
 Démonstration
 Conclusion
 Questions / Réponses

 Comprendre le contexte
◦ Serveur web à très fort trafic
 Identifier le besoin
◦ Superviser le service web
 Les problématiques
◦ Liées au fort trafic
 La solution
 Démonstration
 Questions / Réponses
© 2014 Guillaume MOCQUET 5

Les différents services

Virtualisation

 Augmentation de la disponibilité des applications
 Déploiement rapide des nouvelles applications, services et données
 Amélioration du management (cf. monitoring précis des VMs)
 Meilleure orientation des demandes imprévues (nouvelles technologies,
tests, etc.)
 Optimisation du taux d’utilisation des ressources en virtualisation (60 à
80%) contre 10 à 20% en non virtualisation
 Orienté Cloud Computing
◦ Grille / Cluster
◦ Haute disponibilité (High Availability : HA)
◦ Basculement (Fail-over)
◦ Tolérance des pannes (Fault tolerance : FT)

Hyperviseur type1 : Nativ/ bare metal Hyperviseur type2 : Hosted

Hyperviseur type1 Hyperviseur type2
 Ressources dédiées
aux machines virtuelles
hébergées.
 1 seul Hyperviseur par
serveur.
 Faible perte de
performance (+/- 10%)
par rapport à un
système natif.
 Ressources allouées
pas seulement aux
machines virtuelles.
 Possibilité d’installer
plusieurs hyperviseurs
sur un même serveur.

 VMware
◦ Société américaine fondée en 1998 spécialisée dans la
virtualisation d’architecture x86
 vSphere
◦ Base de la plateforme de virtualisation Cloud VMware. Gestion des
serveurs « hosts »
◦ A partir de 1300 € (démonstration 60 jours gratuit)
 vCenter Operations Management (Extension vSphere)
◦ Plateforme de supervision du parc virtualisé
◦ A partir de 2100 € (démonstration 60 jours gratuit)

 Dupliquer une machine se fait en quelques minutes
14
2) Paramétrage de la nouvelle machine
1) Clic droit sur la machine
que l’on souhaite copier
3) Duplication en cours… 4) Machine prête à l’emploi
© 2014 Guillaume MOCQUET

 Sauvegarde de l’ensemble d’un système (mémoire
incluse) à un instant « t »
 Possibilité de revenir à un précédent snapshot en
quelques secondes : cela réduit considérablement le
temps d’indisponibilité du service.

 Machines types
 Possibilité d’interagir via l’API
◦ VMware vSphere Web Services SDK

Pourquoi ?

 Répercussion de l’indisponibilité
◦ Coût financier important
 Google aurait perdu 750 000$ en 10 minutes en 2012
◦ Image de marque négative
◦ Perte de client
◦ Perte de temps pour résoudre le problème
 Analyser les performances
◦ Améliorer la qualité de service
◦ Prévenir les risques

Identifier les anomalies

 Système
◦ Machine virtuelle « tombée »
◦ Service « planté »
◦ Espace disque saturé
◦ Problème réseau : synchronisation, firewall, etc.
◦ Problème de droits (fichier)
 Applicatif
◦ « Bug » langage script serveur : Erreur 500
◦ Ressource non trouvée : Erreur 404
◦ Problème de droits (utilisateur) : Erreur 403

© 2014 Guillaume MOCQUET
 Logiciel de supervision / Monitoring
22

 Analyse des logs applicatifs
◦ Shell
◦ RegExp

Qu’est qu’un log ?

 Un évènement daté
◦ Erreur
◦ Succès
◦ Information
 Une action utilisateur datée
◦ Appel de page « classique » (code 200)
◦ Appel d’une ressource qui n’existe pas (erreur 404)

Trouver les informations
pertinentes

 Flot de données colossale
◦ Différencier les logs d’erreurs des logs « normaux »
 Générer localement au niveau de chaque serveur
◦ Possibilité d’erreur présente uniquement sur un nombre
limité de serveurs
 Faible historique exploitable
◦ Archivage automatique
 Information fastidieuse à extraire
◦ Politique de sécurité, shell / ssh, perl, regexp

 Monitoring / collecte de logs
◦ Transparent
 La plus faible consommation de ressource possible
 CPU, mémoire, I/O
 Aucun impact sur les services applicatifs
◦ Fiable
 Eviter les « faux positifs »
◦ Robuste
 Tenir la charge
 Haute disponibilité

Plus-value

 Plateforme centralisée
◦ Un seul point d’entrée
◦ Analyse de différents programmes
 Serveur web
 Serveur de base de données
 Evènements de toutes sortes (ex. : AdServer)
 Temps réel
 Recherche / Analyse ciblée
 Historique robuste
 Scalabilité horizontale

 Formatage des données
◦ Identification des informations
 Adresse IP client
 Page demandée
 Statut de retour
 Enrichissement des données
◦ Géolocalisation
 Pays
 Ville
 Open source
 Gratuit
 Grande communauté

Architecture globale

Présentation des différents
services

 Service / Programme
◦ Apache (natif, personnalisable)
◦ HAProxy (natif, personnalisable)
◦ DynDNS (personnalisé)
 Recommandations
◦ Structurer les logs
◦ Formater les logs directement en JSON
 LogFormat "{ "@timestamp": "%{%Y-%m-%dT%H:%M:%S%z}t", "@fields": {
"client": "%a", "duration_usec": %D, "status": %s, "request":
"%U%q", "method": "%m", "referrer": "%{Referer}i" } }" logstash_json

 Exemple de structure (standard)
◦ LogFormat "%h %{X-Forwarded-For}i %l %u %t HTTP %{X-Forwarded-Proto}i "%r" %>s
%O "%{Referer}i" "%{User-Agent}i" t=%D" time_combined_HTTP
◦ LogFormat "%h %{X-Forwarded-For}i %l %u %t HTTPS %{X-Forwarded-Proto}i "%r"
%>s %O "%{Referer}i" "%{User-Agent}i" t=%D" time_combined_HTTPS
 Emission des logs
◦ CustomLog "|/usr/bin/tee -a /var/log/apache2/access.log | /usr/bin/logger -p
local7.info -t 'apache2-access'" time_combined_HTTP
◦ ErrorLog "|/usr/bin/tee -a /var/log/apache2/error.log | /usr/bin/logger -p local7.err
-t 'apache2-error'"

 Natif aux plateformes Linux / Unix
◦ Requiert de faibles ressources
◦ Simple à configurer, fiable et robuste
◦ Buffer
◦ Supporté par de nombreux services
 Identification des évènements
◦ Origine de l’évènement (Facility)
 0 (kernel messages) >> 23 (local7)
◦ Niveau de gravité (Severity)
 0 (Emergency) >> 7 (Debug)

 Personnalisable
◦ Nombreux plug-in
 ElasticSearch Output plug-in existant
 /! Difficulté à formater et enrichir les logs

 Configuration
◦ /etc/rsyslog.conf
◦ /etc/rsyslog.d/*.conf
 Véhiculer les messages via TCP (ou UDP)
Transferer tous les
messages d’origine 7
(local7) au serveur
192.168.1.19 via TCP

 « Standalone » Java
 Supporté par ElasticSearch
 Même philosophie de fonctionnement que
syslog
 Nombreux plug-in

◦ Flexible en fonction de la charge

 Configuration modulaire
◦ /etc/logstash/conf.d/*.conf

 Très grand nombre de protocoles supportés
◦ Local (files), réseau (tcp) ou externe (Twitter, AWS)
Ecoute sur toutes les
adresses IP disponibles, sur
le port 514 (TCP + UDP)

 Principal filtre : Grok (formatage)

 Date

 XML, CSV, JSON, Etc.
◦ Pour plus d’informations
consulter la
documentation de
chacun des filtres

 Geoip

 Remplacement, suppression, etc.

 Conditions (filter seulement)

 Très grand nombre de protocoles supportés
◦ Local (files), réseau (tcp) ou externe (Twitter, AWS)
 Output ElasticSearch
◦ Index dynamique (logstash-%{+YYYY.MM.dd})
◦ Options « tempate »
 Mapping dynamique
◦ Workers
◦ flush_size
 Bluk API

 Requiert Java
 API REST

 ElasticSearch Mapping

 « Standalone » HTML / JavaScript
◦ Requiert seulement un navigateur récent
◦ Configuration en 1 ligne via le fichier /config.js
 elasticsearch: "http://192.168.1.16:9200",
 Préconise un index ElasticSearch / jour (cf. Logstash)
◦ Possibilité de rechercher sur plusieurs jours (ainsi que
d’agréger les résultats)
 Supporté par ElasticSearch
 Crée des tableaux de bords 100% personnalisés

 Interface riche pour ElasticSearch
 Personnalisable à souhait
 Multi requêtes
 Filtrage des résultats
 Syntaxe de requête Lucene
 Possibilité de rechercher par « facets »

 Requête simple
◦ response:403
 Requête de négation
◦ response:(-200 AND -301)
 Date
◦ @timestamp:>now
◦ @timestamp:>now-1d
 Intervalle
◦ @timestamp:["2014-01-27T19:53:23.877Z" TO now]
 Recherche
◦ @message:((+"Server apache2_http/" +"DOWN, reason:") OR
@message:"has no server available!")

 Log brut
◦ <182>Jan 28 14:12:09 haproxy[4446]: 90.3.218.220:35069
[28/Jan/2014:14:12:04.489] frontend_http apache2_http/dc01-www-04
1/0/0/5267/5268 200 205 - - ---- 0/0/0/0/0 0/0 "POST /wp-
cron.php?doing_wp_cron=1390914724.4278941154479980468750 HTTP/1.0“

 Formatage et enrichissement
◦ 192.168.1.48 157.56.92.160 - - [27/Jan/2014:09:42:11 +0100] HTTP http "GET /robots.txt
HTTP/1.1" 200 329 "-" "Mozilla/5.0 (compatible; bingbot/2.0;
+http://www.bing.com/bingbot.htm)" t=3495

 Facet @timestamp

 Calcul de métriques : min, max, comptage, moyenne

http://demo.kibana.org/
Démo

 Virtualisation
◦ Meilleure réactivité
◦ Favorise la montée en compétence de l’équipe technique
(cf. DevOps)
 Plateforme d’analyse de logs
◦ Rend accessible une information souvent réservée à une
audience limitée (administrateur réseaux, personne non
technique)
◦ Open source et gratuite
◦ Scalabilité horizontale
◦ Flexibilité : analyse technique, analyse commerciale, etc.
◦ Temps réel

Avez-vous des questions ?

 Virtualisation (VMware vSphere)
◦ http://www.vmware.com/fr/products/vsphere/
 Syslog
◦ http://tools.ietf.org/html/rfc5424
 Logstash
◦ http://logstash.net/
◦ http://cookbook.logstash.net/
 ElasticSearch
◦ http://www.elasticsearch.org/
◦ http://dev.af83.com/2013/05/22/quelques-bases-pour-preparer-une-indexation-dans-
elasticsearch.html
◦ http://dev.af83.com/2012/01/13/tire-pour-les-francophones.html
 Kibana
◦ http://www.elasticsearch.org/overview/kibana/
 Lucene
◦ http://lucene.apache.org/core/2_9_4/queryparsersyntax.html
 Divers
◦ http://blog.iweb.com/fr/2012/11/combien-de-temps-dindisponibilite-est-
acceptable/13220.html

[Sildes] plateforme centralisée d’analyse des logs des frontaux http en temps réel dans un milieu virtualisé

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (20)

Similar to [Sildes] plateforme centralisée d’analyse des logs des frontaux http en temps réel dans un milieu virtualisé

Similar to [Sildes] plateforme centralisée d’analyse des logs des frontaux http en temps réel dans un milieu virtualisé (20)

More from Guillaume MOCQUET

More from Guillaume MOCQUET (8)

Recently uploaded

Recently uploaded (6)

[Sildes] plateforme centralisée d’analyse des logs des frontaux http en temps réel dans un milieu virtualisé