Kafka : ingestion de messages

Objectifs

Comprendre le fonctionnement de kafka, acquérir les bonnes pratiques de distribution de messages, savoir configurer kafka pour intégrer les données de différents formats et de sources différentes.

Public

chefs de projet
développeurs

souhaitant mettre en oeuvre kafka pour la distribution de messages.

Prérequis

connaissance de l'écosystème hadoop et bases de programmation dans un langage objet (java ou scala ou python)

Programme de la formation

Introduction

Le projet Kafka : historique, fonctionnalités, principe de fonctionnement.
Présentation de l'achitecture et du rôle de chaque composant : broker, producer, consumer
Liaison avec Zookeeper

Mise en oeuvre

Préconisations d'installation et prérequis
Travaux pratiques: installation et lancement de zookeeper et du kafka-server, création d'un topic simple, mise en oeuvre d'une chaîne de base.
Visualisation des messages avec kafka-console-consumer

Multi-broker

Etude de la configuration du broker
Travaux pratiques : création d'une configuration multi-broker, démarrage de plusieurs noeuds

La réplication

Facteur de réplication
Partitions
Travaux pratiques : tests de haute disponibilité dans une configuration multi-noeuds

Kafka Connect

Présentation des fonctionnalités : intégration de données d'origines multiples, modes de fonctionnement (standalone ou distribué)
Travaux pratiques : configuration de connecteurs, ingestion de données, création d'une chaîne de transformation

Kafka Streams

Les apports de Kafka Streams: applications temps réel et microservices

Méthode pédagogique

Chaque participant travaille sur un poste informatique qui lui est dédié. Un support de cours lui est remis soit en début soit en fin de cours. La théorie est complétée par des cas pratiques ou exercices corrigés et discutés avec le formateur. Le formateur projette une présentation pour animer la formation et reste disponible pour répondre à toutes les questions.

Méthode d'évaluation

Tout au long de la formation, les exercices et mises en situation permettent de valider et contrôler les acquis du stagiaire. En fin de formation, le stagiaire complète un QCM d'auto-évaluation.