01 85 77 07 07
Recherche avancée
Par formation
Par date
Par ville
logo HUB Formation
Organisme de Formation
aux Technologies et métiers de L'informatique
La pédagogie au service de la technologie
Accueil > Domaines > Big Data > Kafka : ingestion de messages

Kafka : ingestion de messages

Objectifs

  • Comprendre le fonctionnement de kafka, acquérir les bonnes pratiques de distribution de messages, savoir configurer kafka pour intégrer les données de différents formats et de sources différentes.

Public

  • chefs de projet
  • développeurs

souhaitant mettre en oeuvre kafka pour la distribution de messages.

Prérequis

  • connaissance de l'écosystème hadoop et bases de programmation dans un langage objet (java ou scala ou python)

Programme de la formation

Introduction

  • Le projet Kafka : historique, fonctionnalités, principe de fonctionnement.
  • Présentation de l'achitecture et du rôle de chaque composant : broker, producer, consumer
  • Liaison avec Zookeeper

Mise en oeuvre

  • Préconisations d'installation et prérequis
  • Travaux pratiques: installation et lancement de zookeeper et du kafka-server, création d'un topic simple, mise en oeuvre d'une chaîne de base.
  • Visualisation des messages avec kafka-console-consumer

Multi-broker

  • Etude de la configuration du broker
  • Travaux pratiques : création d'une configuration multi-broker, démarrage de plusieurs noeuds

La réplication

  • Facteur de réplication
  • Partitions
  • Travaux pratiques : tests de haute disponibilité dans une configuration multi-noeuds

Kafka Connect

  • Présentation des fonctionnalités : intégration de données d'origines multiples, modes de fonctionnement (standalone ou distribué)
  • Travaux pratiques : configuration de connecteurs, ingestion de données, création d'une chaîne de transformation

Kafka Streams

  • Les apports de Kafka Streams: applications temps réel et microservices

 

Méthode pédagogique

Un support de cours est remis à chaque participant. La théorie est complétée par des cas pratiques ou exercices discutés avec le formateur.

Méthode d'évaluation

Tout au long de la formation, les exercices et mises en situation permettent de valider et contrôler les acquis du stagiaire.