Organisme de Formation aux technologies et métiers de L'informatique
Effectuez une recherche
recherche
Accédez à votre espace client
Une question ? 01 85 77 07 07
éditeurs domaines cursus certifications cpf

Formation Apache Kafka, ingestion de messages

Télécharger le plan de cours
Demander un devis
Obtenir un renseignement

Informations générales

CB041
3 jours (21h)
2 090 €HT
69 €HT (en option)

Objectifs

Après ce cours, vous serez capable de :

  • Identifier le fonctionnement de Kafka et les principes de communications inter applications
  • Acquérir les bonnes pratiques de distribution de messages
  • Savoir configurer Kafka pour intégrer les données de différents formats et de sources différentes
  • Appréhender les différentes APIs de Kafka.
  • Mettre en oeuvre KSQL
  • Travailler en sécurité avec Kafka

Public

Ce cours s'adresse avant tout aux personnes suivantes :

  • Architectes, Chefs de projet, Développeurs, équipes DevOps...

 

Prérequis

Pour suivre ce cours, vous devez déjà posséder les connaissances suivantes :

  • avoir des notions d'architectures applicatives en entreprise, des connaissances des protocoles réseaux, de bonnes connaissances en Java ou autre langage. Des connaissances en Spring ou Node.js sont recommandées.

Programme de la formation

Comprendre le fonctionnement de Kafka et les principes de communications inter applications

  • Le projet Kafka : historique, fonctionnalités, principe de fonctionnement.
  • Présentation de l'architecture et du rôle de chaque composant : broker, producer, consumer
  • Liaison éventuelle avec Zookeeper. Impacts.

Acquérir les bonnes pratiques de distribution de messages

  • Etude de la configuration du broker
  • Atelier : création d'une configuration multi-broker, démarrage de plusieurs noeuds
  • Atelier : création d'un topic simple et mise en oeuvre d'une chaîne de base. Visualisation des messages avec kafka-console-consumer

Savoir configurer Kafka pour intégrer les données de différents formats et de sources différentes

  • Kafka Connect : présentation des fonctionnalités : intégration de données d'origines multiples,
  • modes de fonctionnement (standalone ou distribué)
  • Types de connecteurs
  • Atelier  : configuration de connecteurs, ingestion de données, création d'une chaîne de transformation

Appréhender les différentes APIs de Kafka.

  • Conception d'applications avec Kafka. Principe de fonctionnement.
  • Atelier : développement de prototypes en Python, Java, Scala
  • Couplage avec SparkStreaming en mode batch, en mode continu
  • Principe et architecture de Kafka Streams

Mettre en oeuvre KSQL

  • Conception d'application avec KSQL. La sur-couche KSQL.
  • Présentation de ksqlDB. Création de flux en KSQL. Les ajouts SQL pour permettre le traitement en flux.
  • Micro-batchs. Introduction au water-marking.
  • Atelier : mise en oeuvre d'une chaîne de traitement avec KSQL

Travailler en sécurité avec Kafka

  • Intégrité et confidentialité :
  • Chiffrement SSL et authentification SASL.
  • Sécurisation de l'infrastructure : Zookeeper, proxy Rest
  • Disponibilité : La réplication. Facteur de réplication. Partitions
  • Atelier : tests de haute disponibilité dans une configuration multi-noeuds

Exploitation

  • Mise en oeuvre de kafka-tool
  • Gestion des logs
  • Détection de pannes : méthodes et outils
  • Benchmarks
plus d'infos

Méthode pédagogique

Chaque participant travaille sur un poste informatique qui lui est dédié. Un support de cours lui est remis soit en début soit en fin de cours. La théorie est complétée par des cas pratiques ou exercices corrigés et discutés avec le formateur. Le formateur projette une présentation pour animer la formation et reste disponible pour répondre à toutes les questions.

Méthode d'évaluation

Tout au long de la formation, les exercices et mises en situation permettent de valider et contrôler les acquis du stagiaire. En fin de formation, le stagiaire complète un QCM d'auto-évaluation.

Mis à jour le 25/10/2023