01 85 77 07 07
Recherche avancée
Par formation
Par date
Par ville
logo HUB Formation
Organisme de Formation
aux Technologies et métiers de L'informatique
La pédagogie au service de la technologie
> > > Kafka, ingestion et traitement de messages

Kafka, ingestion et traitement de messages

Objectifs

  • Comprendre le fonctionnement de kafka, acquérir les bonnes pratiques de distribution de messages, savoir configurer kafka pour intégrer les données de différents formats et de sources différentes.

Public

  • chefs de projet
  • développeurs

souhaitant mettre en oeuvre kafka pour la distribution de messages.

Prérequis

  • connaissance de l'écosystème hadoop et bases de programmation dans un langage objet (java ou scala ou python)

Programme de la formation

Introduction

  • Le projet Kafka : historique, fonctionnalités, principe de fonctionnement.
  • Présentation de l'achitecture et du rôle de chaque composant : broker, producer, consumer
  • Liaison avec Zookeeper

Mise en oeuvre

  • Préconisations d'installation et prérequis
  • Travaux pratiques: installation et lancement de zookeeper et du kafka-server, création d'un topic simple, mise en oeuvre d'une chaîne de base.
  • Visualisation des messages avec kafka-console-consumer

Multi-broker

  • Etude de la configuration du broker
  • Travaux pratiques : création d'une configuration multi-broker, démarrage de plusieurs noeuds

La réplication

  • Facteur de réplication
  • Partitions
  • Travaux pratiques : tests de haute disponibilité dans une configuration multi-noeuds

Kafka Connect

  • Présentation des fonctionnalités : intégration de données d'origines multiples, modes de fonctionnement (standalone ou distribué)
  • Travaux pratiques : configuration de connecteurs, ingestion de données, création d'une chaîne de transformation

Kafka Streams

  • Les apports de Kafka Streams: applications temps réel et microservices