Recherche avancée
Par formation
Par date
Par ville
logo HUB Formation
Organisme de Formation
aux Technologies et métiers de L'informatique
La pédagogie au service de la technologie
> > > Flux de données avec Storm

Flux de données avec Storm

Objectifs

  • Savoir mettre en oeuvre Storm pour le traitement de flux de données

Public

  • chefs de projet
  • data scientists
  • développeurs

Prérequis

  • connaissance d'un langage de programmation comme Java ou Python

Programme de la formation

Introduction

  • Présentation de Storm : fonctionnalités, architecture, langages supportés
  • Définitions : spout, bolt, topology

Architecture

  • Etude des composants d'un cluster Storm : master node 'nimbus' et worker nodes
  • Positionnement par rapport à un cluster Hadoop.
  • Le modèle de données.
  • Différents types de flux.

Premiers pas

  • Configuration d'un environnement de développement.
  • Installation d'un cluster Storm.
  • Travaux pratiques sur le projet storm-starter

Flux de données

  • Définition du nombre de flux dans un noeud, création de topologies regroupants des flux entre différents noeuds, communication entre flux en JSON, lecture de flux d'origines diverses (JMS, Kafka, ...)

Haute disponibilité

  • Tolérance aux pannes: principe de fiabilisation des master node, workers node, nimbus
  • Garantie de traitement des flux: principe,paramètres TOPOLOGY_MESSAGE_TIMEOUT_SECS, TOPOLOGY_ACKERS
  • Traitements temps réel avec Trident.
  • Scalabilité : parallèlisme dans un cluster storm, ajouts de noeuds, commande 'storm rebalance'