Recherche avancée
Par formation
Par date
Par ville
logo HUB Formation
Organisme de Formation
aux Technologies et métiers de L'informatique
La pédagogie au service de la technologie
Accueil > Domaines > Big Data > Big Data - Supervision de solutions avec Grafana, Kibana, Graphite et Prometheus

Big Data - Supervision de solutions avec Grafana, Kibana, Graphite et Prometheus

Anticiper des pannes et alerter en cas de dysfonctionnement

Comme toute application en production, une application Big Data doit faire l’objet d’une surveillance attentive. Mais en raison des caractéristiques spécifiques des applications Big Data qui répartissent généralement les traitements de très important volumes d’information entre différents serveurs, les process traditionnels de supervision ne suffisent pas. Un des procédés consiste à utiliser différentes briques logicielles Open Source pour créer la combinaison la plus adaptée à une problématique spécifique. A l’issue de cette formation de 3 jours, les participants auront acquis les compétences et connaissances nécessaires à la mise en oeuvre d’une solution de supervision avec Grafana, Kibana, Graphite et Prometheus.

Objectifs

  • Connaître les outils et mécanismes permettant de superviser des fermes Big Data
  • Être en mesure de mettre en oeuvre et configurer les différents outils Open Source nécessaires à la construction d’une solution de supervision
  • Savoir combiner et associer ces outils pour construire une solution de supervision complète et efficace

Public

  • Exploitants, architectes Big Data, chefs de projet et toute personne souhaitant mettre en oeuvre un système de supervision d'une ferme Big Data

Prérequis

  • Connaissance générale des systèmes d'informations et des bases de données

Programme de la formation

Supervision : définitions

  • Les objectifs de la supervision, les techniques disponibles
  • La supervision d'une ferme Big Data
  • Objets supervisés
  • Les services et ressources
  • Protocoles d'accès
  • Exporteurs distribués de données
  • Définition des ressources à surveiller
  • Journaux et métriques
  • Application aux fermes Big Data : Hadoop, Cassandra, MongoDB

Mise en oeuvre

  • Besoin de base de données avec agents distribués, de stockage temporel (timeseriesDB)
  • Produits : Prometheus, Graphite, ElasticSearch
  • Présentation, architectures
  • Les sur-couches : Kibana, Grafana

JMX

  • Principe des accès JMX
  • MBeans
  • Visualisation avec jconsole et jmxterm
  • Suivi des performances Cassandra : débit d'entrées/sorties, charges, volumes de données, tables, ...

Prometheus

  • Installation et configuration de base
  • Définition des ressources supervisées, des intervalles de collecte
  • Démarrage du serveur Prometheus
  • Premiers pas dans la console web, et l'interface graphique
  • Exporteur JMX
  • Exporteur mongodb
  • Démonstration avec Cassandra ou Hadoop/HBase
  • Configuration des agents sur les noeuds de calculs
  • Agrégation des données JMX
  • Expressions régulières
  • Requêtage
  • Visualisation des données

Graphite

  • Modèle de données et mesures
  • Format des données stockées, notion de timestamp
  • Types de mesures : compteurs, jauges, histogrammes, résumés
  • Identification des ressources supervisées : notions d'instances, de jobs
  • Démonstration avec Cassandra
  • Comparaison avec Prometheus

Exploration et visualisation des données

  • Mise en oeuvre de Grafana : installation, configuration
  • Pose de filtres sur Prometheus et remontée des données
  • Étude des différents types de graphiques disponibles
  • Agrégation de données
  • Appairage des données entre Prométheus et Grafana
  • Visualisation et sauvegarde de graphiques, création de tableaux de bord et rapports à partir des graphiques

Kibana, installation et configuration

  • Installation, configuration du mapping avec Elasticsearch
  • Paramétrage dans le fichier kibana.yml
  • Mapping automatique ou manuel
  • Configuration des indexes à explorer

Les + de cette formation

  • Une formation qui accorde une large place à la pratique : au moins 50% du temps de la formation est consacré à la mise en oeuvre d’une solution de supervision.
  • La formation alterne les présentations théoriques avec les exercices en groupe ou individuels.
  • Des versions numériques de tous les documents sont remises aux participants (support de cours, énoncés, corrigés).