[SYSADMIN] ELK ? What ?!?

[SYSADMIN] ELK ? What ?!?

ELK, tu en as peut être déjà entendu parler. C’est un acronyme, car oui les acronymes on aime ça dans nos métiers techniques. Cela signifie ElasticSearch Logstash Kibana. C’est un peu comme LAMP qui veut dire Linux Apache MySQL PHP.

Mais alors qu’est ce que ELK au juste ? Et bien c’est une série d’outils qui vont permettre de faire du traitement de logs et en faciliter l’analyse.

ElasticSearch est un système qui indexe des données et permet de faire des recherches.

Logstash je le définirai comme un “super aiguilleur” des logs. Il permet de lire, traiter et distribuer les logs, notamment vers ElasticSearch.

Kibana est l’interface graphique permettant de consulter les données contenues dans ElasticSearch.

ELK c’est donc un acronyme super pour parler d’une suite d’outils qui vont nous permettre d’obtenir de jolies tableaux de bord comme ca :

elk

Rentrons un peu plus dans le détail.

ElasticSearch

http://www.elasticsearch.org/overview/elasticsearch/

Qu’est ce qu’ElasticSearch ? Une application pouvant fonctionner en cluster qui permet de stocker des données. Ces données peuvent être analysées en temps réel. Un cluster ElasticSearch est dit à haute disponibilité car il va détecter et retirer les nœuds posant problème.

ElasticSearch utilise Lucene pour fournir une recherche textuelle.

Les données sont enregistrées comme des documents structurés, tous les champs sont indexés et peuvent être interroger par des requêtes.

ElasticSearch dispose d’API permettant de l’interroger depuis de nombreux langages de programmation.

Son installation de base se déroule en trois étapes :

  • Télécharger le logiciel et le dézipper.
  • Le lancer.
  • Puis tester !

LogStash

http://www.elasticsearch.org/overview/logstash/

LogStash permet de centraliser les logs de tous type. Il permet de collecter les logs, les traiter et les envoyer vers d’autres services.

Il dispose de plusieurs sources d’entrées possibles telles que Eventlog, des fichiers, des données provenant de Graphite, le retour d’un script lancé par Exec, une écoute IMAP, la lecture d’un canal IRC.

Plusieurs codecs et filtres lui permettent de traiter ces données avant de les envoyer vers une destination qui peut être un fichier CSV, un email, Graphite, ElasticSearch, des fichiers, un serveur écoutant en TCP ou en UDP.

Je vous invite à regarder cette conférence donnée par le créateur de LogStash.

Kibana

elk

http://www.elasticsearch.org/overview/kibana/

Kibana est donc l’application qui permet de visualiser toutes ces informations. Une fois que LogStash les a traiter et envoyer vers ElasticSearch, Kibana va vous apporter tout le nécessaire pour construire votre tableau de bord.

Kibana ne nécessite pas de code pour fonctionner, tout se passe dans son interface graphique.

Il affiche les données en temps réel et permet d’avoir une vue continue de ce qui est surveiller.

C’est un logiciel OpenSource.

Son installation se fait aussi en 3 étapes :

  • Télécharger et décompresser.
  • Modifier une ligne dans le fichier config.js.
  • Lancer son navigateur !

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.