SlideShare a Scribd company logo
1 of 46
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Comme nous l’avons vu dans le chapitre 1, Kibana est l’outil principal
permettant l’analyse des logs.
Le cours qui va suivre porte sur la version 3 de Kibana, sachant qu’une version 4
apportant des améliorations fera son apparition prochainement.
Mais pas de panique, l’approche contextuelle reste bien entendu la même.
Kibana
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Kibana, Concepts de base :
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Configure Dashboard
Histogram
Terms
Table
Bettermap
Hits
Text
Trends
Map
Sparklines
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Onglet General :
Title : le titre du panel dans le dashboard.
Span : La largeur du panel dans le dashboard,
Cocher la propriété Editable revient à rendre le panel modifiable.
Inspect revient à autoriser la consultation du code source associé au panel.
Panel Histogram : Configuration
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Onglet Panel
Values : fonctions de regroupement des données : count, max, min, mean, total
Transform Series : intervalle en s, afficher la dérivée (Derivative) de la courbe et
prendre en compte les zeros (Zero fill)
Time Options : - Le champ qui doit être pris en compte pour l’échelle
- La Timezone qui correspond à celle du navigateur ou UTC
- Le paramétrage de l’échelle de temps auto ou pas
- La Résolution en nombre d’enregistrements verticaux
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Onglet Style
Chart Options : Présentation par Bars, Lines ou Points de l’histogramme.
xAxis et Yaxis pour l’affichage en abscisse et ordonnée.
Selectable permet de rendre consultable une partie
de l’histogram.
Y Format : None, short ou bytes
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Multiple Series : Stack permet de cumuler les séries sur un même
histogramme.
On peut alors faire le choix d’exprimer les valeurs soit
par dénombrement (Stack), soit par pourcentage
d’une série par rapport au total des séries
représentées. ( Cumulative ou Individual)
Header / Legend: Header : Activer le bouton Zoom sur l’histogramme.
View permet de créer un raccourci pour la mise en
forme de l’histogramme
Legend : Legend permet d’afficher la légende. S’il n’y
a pas de légende, on peut afficher la requête
correspondante grâce au champ Query.
Counts permet de comptabiliser le nombre d’entrées
pour chaque type d’enregistrement de
l’histogramme.
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Grid : Min / Max : Permet de gérer l’échelle au niveau des
valeurs min et max (valeur numérique)
Recommandé : Laisser en Auto, pour des
changements dynamiques.
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Panel Histogram : Bars
Panel Histogram : Lines
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Configure Dashboard
Histogram
Terms
Table
Bettermap
Hits
Text
Trends
Map
Sparklines
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Onglet General :
Title : le titre du panel dans le dashboard.
Span : La largeur du panel dans le dashboard,
Cocher la propriété Editable revient à rendre le panel modifiable.
Inspect revient à autoriser la consultation du code source associé au panel.
Panel Table : Configuration
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Terms mode :
Field : Le champ sur lequel porte la Table
Lenght: Le nombre de lignes de la Table
Order: Count, ordre alphabétique
Exclude: Permet d’ignorer les enregistrements du champ concerné qui est
renseigner dans Field et dont le libellé correspond à la valeur saisie.
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Panel Table :
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Configure Dashboard
Histogram
Terms
Table
Bettermap
Hits
Text
Trends
Map
Sparklines
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Page globale Kibana 3 :
-Query : Permet de fixer les éléments à considérer dans l’analyse
Peut etre un rang, une valeur numérique, une chaine de caractères
Critères multiples possibles
-Filtering : Permet de mettre en place des critères de tri des données :
-MUST / MUST NOT
-Porte sur un champ
-Porte sur la valeur d’un champ, un intervalle de valeurs
-Possibilité de filtres multiples
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Chaque dashboard est constitué de
rows.
Ces rows se présentent comme ci-contre
(ici sous leur forme la plus réduite au
nombre de 6).
Chaque row va pouvoir mettre en avant
des critères d’analyse via des panels.
On peut ajouter facilement une row grâce au bouton
Il suffit ensuite d’ajouter simplement le nom d’une ligne et sa taille (Cf
page suivante).
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
En cliquant sur , on peut visualiser les différentes lignes, les
organiser et en ajouter une tout simplement à droite du panneau de
visualisation comme expliqué précédemment.
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Configurer une ligne de dashboard :
Une fois la ligne créée, il faut la configurer : panels, etc…
Pour cela, chaque ligne dispose à partir de sa création un micro panneau latéral
comme ci-dessous :
Collapse Raw : Réduit la ligne au minimum comme vu précédemment (uniquement le nom).
Configure Raw : Utile pour réordonner des panels, en ajouter, définir leur taille.
Add Panel : Raccourci pour la même fonctionnalité que l’ajout dans l’option Configure Raw.
Il suffit ensuite de créer des panels en suivant les explications pour chaque type
de panel.
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Configuration générale d’un dashboard :
La configuration se fait par le menu en haut à droite du dashboard :
On y retrouve :
-l’intervalle de temps pour lequel on veut les données.
-Un bouton Refresh.
-Bouton d’accueil du portail Kibana.
-Bouton Load pour accéder aux dashboards d’un même portail.
-Bouton Save pour sauvegarder les modifications
-Bouton Share pour partager un dashboard via URL.
-Bouton principal : Configure Dashboard
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Configure dashboard: Onglet General
- Titre du dashboard
- Style graphique : Dark/White
- Editable : A cocher pour autoriser les modifications du dashboard
- Hints permet l’affichage d’une suggestion d’ajout de panneau aux
emplacements vides.
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Configure dashboard: Onglet Index
- Default Index : Alias du Dashboard
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Configure dashboard: Onglet Index
- Propriétés de sauvegarde : export, navigateur ou encore Elasticsearch
- Propriétés d’upload via fichier, ou Elasticsearch
- Propriétés de partage : Durée durant laquelle le partage est actif
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Configure dashboard: Onglet Timepicker
- Options d’intervalle pour analyse ( ne dois pas dépasser la rétention des
logs)
- Paramétrage de l’auto-refresh du dashboard pour visualiser les nouvelles
données (ne pas le mettre trop court pour des volumes importants)
- Champ sur lequel porte les critères de temps (par défaut @timestamp). Le
modifier uniquement si un changement de variable a été effectué.
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Configure dashboard: Gestion des échelles
L’option Scale permet de gérer la mise à une échelle. Ici on divise par 1000 les
valeurs pour avoir des valeurs plus significatives en ordonnée. On passe donc
d’un maximum de 6000 ms à 6s.
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Configure dashboard: Gestion des échelles
Le fait de passer l’option YFormat en type Short va permettre un autre type de
simplifications des graphiques : Elle va permettre d’afficher les ordonnées en
format simplifié. Exemple ici, 15 000 se transforme en 15 K.
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Configure Dashboard
Histogram
Terms
Table
Bettermap
Hits
Text
Trends
Map
Sparklines
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect.
Style : Bars, pie, list, total
Legend : Position de la légende
List Format : Horizontal ou Vertical
Queries : choix habituel
Panel Hits : Configuration
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Panel Hits : Bars Panel Hits : Pie
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Configure Dashboard
Histogram
Terms
Table
Bettermap
Hits
Text
Trends
Map
Sparklines
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect.
Style : Bars, pie, table
Legend : Position de la légende
Legend Format : Horizontal ou Vertical
Queries : choix habituel
Panel Terms : Configuration
Terms_mode: Terms ou Terms_stats
Field : Le champ que l’on souhaite traiter
Order : Count, Term ou inversé
On peux également exclure des termes que l’on ne veut pas voir apparaître,
séparés par une virgule. (Exclude Terms)
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Panel Terms : Pie Panel Terms : Bars Panel Terms : Table
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Configure Dashboard
Histogram
Terms
Table
Bettermap
Hits
Text
Trends
Map
Sparklines
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect.
Queries : choix habituel
Panel Bettermap: Configuration
Coordinate Field : geoip.location
Tooltip Field : Le champ qui est mis en valeur lorsque l’on place le pointeur de
la souris.
Max Points : Le nombre de points à prendre en compte. Le fixer au nombre
d’enregistrements (nombre de hits).
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Panel Bettermap
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Configure Dashboard
Histogram
Terms
Table
Bettermap
Hits
Text
Trends
Map
Sparklines
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect.
Panel Text : Configuration
Mode : Text, HTML, Markdown (langage de balise semblable à HTML)
Content : Le texte que l’on souhaite saisir.
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Panel Text
NB : Possibilité d’insérer des liens href, etc …
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Configure Dashboard
Histogram
Terms
Table
Bettermap
Hits
Text
Trends
Map
Sparklines
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect.
Style : Bars, pie, table
Legend : Position de la légende
Legend Format : Horizontal ou Vertical
Queries : choix habituel
Panel Map : Configuration
Field : Le champ sur lequel porte la synthèse du panel
Max : Le nombre de valeurs que l’on souhaite prendre en compte
Map : Le choix du planisphère : Monde, Europe et USA
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Panel Map
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Configure Dashboard
Histogram
Terms
Table
Bettermap
Hits
Text
Trends
Map
Sparklines
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect.
Panel Trends : Configuration
Time Ago: Délai pour la mise en place de l’échelle
Font Size : Taille de la police d’écriture
List Format : Format de la liste (vertical ou horizontal)
Reverse Colors : Inversion des couleurs rouge et vert (uniquement pour aspect
graphique)
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Panel Trends
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Configure Dashboard
Histogram
Terms
Table
Bettermap
Hits
Text
Trends
Map
Sparklines
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect.
Panel Sparklines: Configuration
Chart Value : Count, Term ou inversé
Time Field : Le champ que l’on souhaite traiter
Derivative : Afficher la dérivée ou affichage classique
Log Processing Elasticsearch
Chapitre 2 : Prise en main de Kibana 3
QUERY FILTERING
Panel Sparklines

More Related Content

Viewers also liked

A la recherche d'ElasticSearch
A la recherche d'ElasticSearchA la recherche d'ElasticSearch
A la recherche d'ElasticSearchNinnir
 
Tunis big data_meetup__21_nov2015__aymenzaafouri
Tunis big data_meetup__21_nov2015__aymenzaafouriTunis big data_meetup__21_nov2015__aymenzaafouri
Tunis big data_meetup__21_nov2015__aymenzaafouriAymen ZAAFOURI
 
Plateforme centralisée d’analyse des logs des frontaux http en temps réel dan...
Plateforme centralisée d’analyse des logs des frontaux http en temps réel dan...Plateforme centralisée d’analyse des logs des frontaux http en temps réel dan...
Plateforme centralisée d’analyse des logs des frontaux http en temps réel dan...Guillaume MOCQUET
 
[Sildes] plateforme centralisée d’analyse des logs des frontaux http en temps...
[Sildes] plateforme centralisée d’analyse des logs des frontaux http en temps...[Sildes] plateforme centralisée d’analyse des logs des frontaux http en temps...
[Sildes] plateforme centralisée d’analyse des logs des frontaux http en temps...Guillaume MOCQUET
 
Découverte de Elastic search
Découverte de Elastic searchDécouverte de Elastic search
Découverte de Elastic searchJEMLI Fathi
 
Logging with Elasticsearch, Logstash & Kibana
Logging with Elasticsearch, Logstash & KibanaLogging with Elasticsearch, Logstash & Kibana
Logging with Elasticsearch, Logstash & KibanaAmazee Labs
 
ElasticSearch : Architecture et Développement
ElasticSearch : Architecture et DéveloppementElasticSearch : Architecture et Développement
ElasticSearch : Architecture et DéveloppementMohamed hedi Abidi
 
Elasticsearch - Montpellier JUG
Elasticsearch - Montpellier JUGElasticsearch - Montpellier JUG
Elasticsearch - Montpellier JUGDavid Pilato
 
Présentation de ElasticSearch / Digital apéro du 12/11/2014
Présentation de ElasticSearch / Digital apéro du 12/11/2014Présentation de ElasticSearch / Digital apéro du 12/11/2014
Présentation de ElasticSearch / Digital apéro du 12/11/2014Silicon Comté
 
Logs serveurs : du terme barbare à la simplicité de la réalité
Logs serveurs :  du terme barbare à la simplicité de la réalitéLogs serveurs :  du terme barbare à la simplicité de la réalité
Logs serveurs : du terme barbare à la simplicité de la réalitéKarles Nine
 
Tirer le meilleur de ses données avec ElasticSearch
Tirer le meilleur de ses données avec ElasticSearchTirer le meilleur de ses données avec ElasticSearch
Tirer le meilleur de ses données avec ElasticSearchSéven Le Mesle
 
A3 Mind_Map_Action_Plan template
A3 Mind_Map_Action_Plan templateA3 Mind_Map_Action_Plan template
A3 Mind_Map_Action_Plan templateDavid Roe
 
Business Model Workshop Pack Template
Business Model Workshop Pack TemplateBusiness Model Workshop Pack Template
Business Model Workshop Pack TemplatePricingInsightAus
 
Big Data Expo 2015 - Savision Optimizing IT Operations
Big Data Expo 2015 - Savision Optimizing IT OperationsBig Data Expo 2015 - Savision Optimizing IT Operations
Big Data Expo 2015 - Savision Optimizing IT OperationsBigDataExpo
 
Apache solr andré bois-crettez 08
Apache solr   andré bois-crettez 08Apache solr   andré bois-crettez 08
Apache solr andré bois-crettez 08Loïc Descotte
 

Viewers also liked (20)

A la recherche d'ElasticSearch
A la recherche d'ElasticSearchA la recherche d'ElasticSearch
A la recherche d'ElasticSearch
 
Tunis big data_meetup__21_nov2015__aymenzaafouri
Tunis big data_meetup__21_nov2015__aymenzaafouriTunis big data_meetup__21_nov2015__aymenzaafouri
Tunis big data_meetup__21_nov2015__aymenzaafouri
 
Plateforme centralisée d’analyse des logs des frontaux http en temps réel dan...
Plateforme centralisée d’analyse des logs des frontaux http en temps réel dan...Plateforme centralisée d’analyse des logs des frontaux http en temps réel dan...
Plateforme centralisée d’analyse des logs des frontaux http en temps réel dan...
 
IPTV
IPTVIPTV
IPTV
 
[Sildes] plateforme centralisée d’analyse des logs des frontaux http en temps...
[Sildes] plateforme centralisée d’analyse des logs des frontaux http en temps...[Sildes] plateforme centralisée d’analyse des logs des frontaux http en temps...
[Sildes] plateforme centralisée d’analyse des logs des frontaux http en temps...
 
Découverte de Elastic search
Découverte de Elastic searchDécouverte de Elastic search
Découverte de Elastic search
 
Logging with Elasticsearch, Logstash & Kibana
Logging with Elasticsearch, Logstash & KibanaLogging with Elasticsearch, Logstash & Kibana
Logging with Elasticsearch, Logstash & Kibana
 
ElasticSearch : Architecture et Développement
ElasticSearch : Architecture et DéveloppementElasticSearch : Architecture et Développement
ElasticSearch : Architecture et Développement
 
Séminaire Log Management
Séminaire Log ManagementSéminaire Log Management
Séminaire Log Management
 
Logstash
LogstashLogstash
Logstash
 
Rapport projet pfe
Rapport projet pfeRapport projet pfe
Rapport projet pfe
 
Elk stack
Elk stackElk stack
Elk stack
 
Elasticsearch - Montpellier JUG
Elasticsearch - Montpellier JUGElasticsearch - Montpellier JUG
Elasticsearch - Montpellier JUG
 
Présentation de ElasticSearch / Digital apéro du 12/11/2014
Présentation de ElasticSearch / Digital apéro du 12/11/2014Présentation de ElasticSearch / Digital apéro du 12/11/2014
Présentation de ElasticSearch / Digital apéro du 12/11/2014
 
Logs serveurs : du terme barbare à la simplicité de la réalité
Logs serveurs :  du terme barbare à la simplicité de la réalitéLogs serveurs :  du terme barbare à la simplicité de la réalité
Logs serveurs : du terme barbare à la simplicité de la réalité
 
Tirer le meilleur de ses données avec ElasticSearch
Tirer le meilleur de ses données avec ElasticSearchTirer le meilleur de ses données avec ElasticSearch
Tirer le meilleur de ses données avec ElasticSearch
 
A3 Mind_Map_Action_Plan template
A3 Mind_Map_Action_Plan templateA3 Mind_Map_Action_Plan template
A3 Mind_Map_Action_Plan template
 
Business Model Workshop Pack Template
Business Model Workshop Pack TemplateBusiness Model Workshop Pack Template
Business Model Workshop Pack Template
 
Big Data Expo 2015 - Savision Optimizing IT Operations
Big Data Expo 2015 - Savision Optimizing IT OperationsBig Data Expo 2015 - Savision Optimizing IT Operations
Big Data Expo 2015 - Savision Optimizing IT Operations
 
Apache solr andré bois-crettez 08
Apache solr   andré bois-crettez 08Apache solr   andré bois-crettez 08
Apache solr andré bois-crettez 08
 

Recently uploaded

ELABE BFMTV L'Opinion en direct - Les Français et les 100 jours de Gabriel Attal
ELABE BFMTV L'Opinion en direct - Les Français et les 100 jours de Gabriel AttalELABE BFMTV L'Opinion en direct - Les Français et les 100 jours de Gabriel Attal
ELABE BFMTV L'Opinion en direct - Les Français et les 100 jours de Gabriel Attalcontact Elabe
 
To_understand_transformers_together presentation
To_understand_transformers_together presentationTo_understand_transformers_together presentation
To_understand_transformers_together presentationbahija babzine
 
analyse husseindey AMIROUCHE Abdeslem.pptx
analyse husseindey AMIROUCHE Abdeslem.pptxanalyse husseindey AMIROUCHE Abdeslem.pptx
analyse husseindey AMIROUCHE Abdeslem.pptxHadJer61
 
Bidirectional Encoder Representations from Transformers
Bidirectional Encoder Representations from TransformersBidirectional Encoder Representations from Transformers
Bidirectional Encoder Representations from Transformersbahija babzine
 
Le contrôle de la recherche d'emploi en 2023
Le contrôle de la recherche d'emploi en 2023Le contrôle de la recherche d'emploi en 2023
Le contrôle de la recherche d'emploi en 2023France Travail
 
Montant moyen du droit d'allocation chômage versé aux demandeurs d'emploi ind...
Montant moyen du droit d'allocation chômage versé aux demandeurs d'emploi ind...Montant moyen du droit d'allocation chômage versé aux demandeurs d'emploi ind...
Montant moyen du droit d'allocation chômage versé aux demandeurs d'emploi ind...France Travail
 

Recently uploaded (6)

ELABE BFMTV L'Opinion en direct - Les Français et les 100 jours de Gabriel Attal
ELABE BFMTV L'Opinion en direct - Les Français et les 100 jours de Gabriel AttalELABE BFMTV L'Opinion en direct - Les Français et les 100 jours de Gabriel Attal
ELABE BFMTV L'Opinion en direct - Les Français et les 100 jours de Gabriel Attal
 
To_understand_transformers_together presentation
To_understand_transformers_together presentationTo_understand_transformers_together presentation
To_understand_transformers_together presentation
 
analyse husseindey AMIROUCHE Abdeslem.pptx
analyse husseindey AMIROUCHE Abdeslem.pptxanalyse husseindey AMIROUCHE Abdeslem.pptx
analyse husseindey AMIROUCHE Abdeslem.pptx
 
Bidirectional Encoder Representations from Transformers
Bidirectional Encoder Representations from TransformersBidirectional Encoder Representations from Transformers
Bidirectional Encoder Representations from Transformers
 
Le contrôle de la recherche d'emploi en 2023
Le contrôle de la recherche d'emploi en 2023Le contrôle de la recherche d'emploi en 2023
Le contrôle de la recherche d'emploi en 2023
 
Montant moyen du droit d'allocation chômage versé aux demandeurs d'emploi ind...
Montant moyen du droit d'allocation chômage versé aux demandeurs d'emploi ind...Montant moyen du droit d'allocation chômage versé aux demandeurs d'emploi ind...
Montant moyen du droit d'allocation chômage versé aux demandeurs d'emploi ind...
 

Chapitre2 prise en_main_kibana

  • 1. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Comme nous l’avons vu dans le chapitre 1, Kibana est l’outil principal permettant l’analyse des logs. Le cours qui va suivre porte sur la version 3 de Kibana, sachant qu’une version 4 apportant des améliorations fera son apparition prochainement. Mais pas de panique, l’approche contextuelle reste bien entendu la même. Kibana
  • 2. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Kibana, Concepts de base :
  • 3. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configure Dashboard Histogram Terms Table Bettermap Hits Text Trends Map Sparklines
  • 4. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Onglet General : Title : le titre du panel dans le dashboard. Span : La largeur du panel dans le dashboard, Cocher la propriété Editable revient à rendre le panel modifiable. Inspect revient à autoriser la consultation du code source associé au panel. Panel Histogram : Configuration
  • 5. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Onglet Panel Values : fonctions de regroupement des données : count, max, min, mean, total Transform Series : intervalle en s, afficher la dérivée (Derivative) de la courbe et prendre en compte les zeros (Zero fill) Time Options : - Le champ qui doit être pris en compte pour l’échelle - La Timezone qui correspond à celle du navigateur ou UTC - Le paramétrage de l’échelle de temps auto ou pas - La Résolution en nombre d’enregistrements verticaux
  • 6. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Onglet Style Chart Options : Présentation par Bars, Lines ou Points de l’histogramme. xAxis et Yaxis pour l’affichage en abscisse et ordonnée. Selectable permet de rendre consultable une partie de l’histogram. Y Format : None, short ou bytes
  • 7. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Multiple Series : Stack permet de cumuler les séries sur un même histogramme. On peut alors faire le choix d’exprimer les valeurs soit par dénombrement (Stack), soit par pourcentage d’une série par rapport au total des séries représentées. ( Cumulative ou Individual) Header / Legend: Header : Activer le bouton Zoom sur l’histogramme. View permet de créer un raccourci pour la mise en forme de l’histogramme Legend : Legend permet d’afficher la légende. S’il n’y a pas de légende, on peut afficher la requête correspondante grâce au champ Query. Counts permet de comptabiliser le nombre d’entrées pour chaque type d’enregistrement de l’histogramme.
  • 8. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Grid : Min / Max : Permet de gérer l’échelle au niveau des valeurs min et max (valeur numérique) Recommandé : Laisser en Auto, pour des changements dynamiques.
  • 9. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Panel Histogram : Bars Panel Histogram : Lines
  • 10. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configure Dashboard Histogram Terms Table Bettermap Hits Text Trends Map Sparklines
  • 11. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Onglet General : Title : le titre du panel dans le dashboard. Span : La largeur du panel dans le dashboard, Cocher la propriété Editable revient à rendre le panel modifiable. Inspect revient à autoriser la consultation du code source associé au panel. Panel Table : Configuration
  • 12. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Terms mode : Field : Le champ sur lequel porte la Table Lenght: Le nombre de lignes de la Table Order: Count, ordre alphabétique Exclude: Permet d’ignorer les enregistrements du champ concerné qui est renseigner dans Field et dont le libellé correspond à la valeur saisie.
  • 13. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Panel Table :
  • 14. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configure Dashboard Histogram Terms Table Bettermap Hits Text Trends Map Sparklines
  • 15. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Page globale Kibana 3 : -Query : Permet de fixer les éléments à considérer dans l’analyse Peut etre un rang, une valeur numérique, une chaine de caractères Critères multiples possibles -Filtering : Permet de mettre en place des critères de tri des données : -MUST / MUST NOT -Porte sur un champ -Porte sur la valeur d’un champ, un intervalle de valeurs -Possibilité de filtres multiples
  • 16. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Chaque dashboard est constitué de rows. Ces rows se présentent comme ci-contre (ici sous leur forme la plus réduite au nombre de 6). Chaque row va pouvoir mettre en avant des critères d’analyse via des panels. On peut ajouter facilement une row grâce au bouton Il suffit ensuite d’ajouter simplement le nom d’une ligne et sa taille (Cf page suivante).
  • 17. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING En cliquant sur , on peut visualiser les différentes lignes, les organiser et en ajouter une tout simplement à droite du panneau de visualisation comme expliqué précédemment.
  • 18. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configurer une ligne de dashboard : Une fois la ligne créée, il faut la configurer : panels, etc… Pour cela, chaque ligne dispose à partir de sa création un micro panneau latéral comme ci-dessous : Collapse Raw : Réduit la ligne au minimum comme vu précédemment (uniquement le nom). Configure Raw : Utile pour réordonner des panels, en ajouter, définir leur taille. Add Panel : Raccourci pour la même fonctionnalité que l’ajout dans l’option Configure Raw. Il suffit ensuite de créer des panels en suivant les explications pour chaque type de panel.
  • 19. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configuration générale d’un dashboard : La configuration se fait par le menu en haut à droite du dashboard : On y retrouve : -l’intervalle de temps pour lequel on veut les données. -Un bouton Refresh. -Bouton d’accueil du portail Kibana. -Bouton Load pour accéder aux dashboards d’un même portail. -Bouton Save pour sauvegarder les modifications -Bouton Share pour partager un dashboard via URL. -Bouton principal : Configure Dashboard
  • 20. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configure dashboard: Onglet General - Titre du dashboard - Style graphique : Dark/White - Editable : A cocher pour autoriser les modifications du dashboard - Hints permet l’affichage d’une suggestion d’ajout de panneau aux emplacements vides.
  • 21. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configure dashboard: Onglet Index - Default Index : Alias du Dashboard
  • 22. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configure dashboard: Onglet Index - Propriétés de sauvegarde : export, navigateur ou encore Elasticsearch - Propriétés d’upload via fichier, ou Elasticsearch - Propriétés de partage : Durée durant laquelle le partage est actif
  • 23. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configure dashboard: Onglet Timepicker - Options d’intervalle pour analyse ( ne dois pas dépasser la rétention des logs) - Paramétrage de l’auto-refresh du dashboard pour visualiser les nouvelles données (ne pas le mettre trop court pour des volumes importants) - Champ sur lequel porte les critères de temps (par défaut @timestamp). Le modifier uniquement si un changement de variable a été effectué.
  • 24. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configure dashboard: Gestion des échelles L’option Scale permet de gérer la mise à une échelle. Ici on divise par 1000 les valeurs pour avoir des valeurs plus significatives en ordonnée. On passe donc d’un maximum de 6000 ms à 6s.
  • 25. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configure dashboard: Gestion des échelles Le fait de passer l’option YFormat en type Short va permettre un autre type de simplifications des graphiques : Elle va permettre d’afficher les ordonnées en format simplifié. Exemple ici, 15 000 se transforme en 15 K.
  • 26. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configure Dashboard Histogram Terms Table Bettermap Hits Text Trends Map Sparklines
  • 27. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect. Style : Bars, pie, list, total Legend : Position de la légende List Format : Horizontal ou Vertical Queries : choix habituel Panel Hits : Configuration
  • 28. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Panel Hits : Bars Panel Hits : Pie
  • 29. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configure Dashboard Histogram Terms Table Bettermap Hits Text Trends Map Sparklines
  • 30. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect. Style : Bars, pie, table Legend : Position de la légende Legend Format : Horizontal ou Vertical Queries : choix habituel Panel Terms : Configuration Terms_mode: Terms ou Terms_stats Field : Le champ que l’on souhaite traiter Order : Count, Term ou inversé On peux également exclure des termes que l’on ne veut pas voir apparaître, séparés par une virgule. (Exclude Terms)
  • 31. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Panel Terms : Pie Panel Terms : Bars Panel Terms : Table
  • 32. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configure Dashboard Histogram Terms Table Bettermap Hits Text Trends Map Sparklines
  • 33. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect. Queries : choix habituel Panel Bettermap: Configuration Coordinate Field : geoip.location Tooltip Field : Le champ qui est mis en valeur lorsque l’on place le pointeur de la souris. Max Points : Le nombre de points à prendre en compte. Le fixer au nombre d’enregistrements (nombre de hits).
  • 34. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Panel Bettermap
  • 35. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configure Dashboard Histogram Terms Table Bettermap Hits Text Trends Map Sparklines
  • 36. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect. Panel Text : Configuration Mode : Text, HTML, Markdown (langage de balise semblable à HTML) Content : Le texte que l’on souhaite saisir.
  • 37. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Panel Text NB : Possibilité d’insérer des liens href, etc …
  • 38. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configure Dashboard Histogram Terms Table Bettermap Hits Text Trends Map Sparklines
  • 39. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect. Style : Bars, pie, table Legend : Position de la légende Legend Format : Horizontal ou Vertical Queries : choix habituel Panel Map : Configuration Field : Le champ sur lequel porte la synthèse du panel Max : Le nombre de valeurs que l’on souhaite prendre en compte Map : Le choix du planisphère : Monde, Europe et USA
  • 40. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Panel Map
  • 41. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configure Dashboard Histogram Terms Table Bettermap Hits Text Trends Map Sparklines
  • 42. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect. Panel Trends : Configuration Time Ago: Délai pour la mise en place de l’échelle Font Size : Taille de la police d’écriture List Format : Format de la liste (vertical ou horizontal) Reverse Colors : Inversion des couleurs rouge et vert (uniquement pour aspect graphique)
  • 43. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Panel Trends
  • 44. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Configure Dashboard Histogram Terms Table Bettermap Hits Text Trends Map Sparklines
  • 45. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING On retrouve les propriétés générales classiques: Title, Span, Editable, Inspect. Panel Sparklines: Configuration Chart Value : Count, Term ou inversé Time Field : Le champ que l’on souhaite traiter Derivative : Afficher la dérivée ou affichage classique
  • 46. Log Processing Elasticsearch Chapitre 2 : Prise en main de Kibana 3 QUERY FILTERING Panel Sparklines