Accueil > Domaines > Big Data > Flux de données avec Storm

Flux de données avec Storm

Gérer en temps réel des flux massifs de données

Les volumes de données à gérer ne cessent de croitre. Les flux de données suivent et amplifient naturellement cette évolution. Les applications et solutions à disposition des utilisateurs se doivent donc d’exploiter dans des délais toujours plus courts des masses d’informations toujours plus importantes pour gagner en efficacité et en pertinence. (Exemple : sur une page web, l’affichage d’informations directement liées aux actions sur le ou les sites consultés quelques secondes auparavant). Storm est une solution qui permet de gérer en temps réel des flux massifs de données et qui répond en cela efficacement aux nouvelles problématiques liées au Big Data. Les participants à cette formation très pratique apprendront à mettre en oeuvre la solution.

Objectifs

Disposer des connaissances nécessaires pour configurer un environnement de développement
Savoir mettre en oeuvre Storm pour le traitement des flux de données
Comprendre comment assurer le traitement de gros volumes de flux de données de façon performante grâce à la mise en oeuvre de la haute disponibilité

Public

chefs de projet
data scientists
développeurs

Prérequis

connaissance d'un langage de programmation comme Java ou Python

Programme de la formation

Introduction

Présentation de Storm : fonctionnalités, architecture, langages supportés
Définitions : spout, bolt, topology

Architecture

Etude des composants d'un cluster Storm : master node 'nimbus' et worker nodes
Positionnement par rapport à un cluster Hadoop.
Le modèle de données.
Différents types de flux.

Premiers pas

Configuration d'un environnement de développement.
Installation d'un cluster Storm.
Travaux pratiques sur le projet storm-starter

Flux de données

Définition du nombre de flux dans un noeud, création de topologies regroupants des flux entre différents noeuds, communication entre flux en JSON, lecture de flux d'origines diverses (JMS, Kafka, ...)

Haute disponibilité

Tolérance aux pannes: principe de fiabilisation des master node, workers node, nimbus
Garantie de traitement des flux: principe,paramètres TOPOLOGY_MESSAGE_TIMEOUT_SECS, TOPOLOGY_ACKERS
Traitements temps réel avec Trident.
Scalabilité : parallèlisme dans un cluster storm, ajouts de noeuds, commande 'storm rebalance'

Les plus de cette formation

Les nombreux retours d'expériences de consultants expérimentés permettent d'illustrer les concepts abordés et d’en faciliter la compréhension.
Des ateliers et mises en situations qui permettent d’acquérir une première expérience concrète de la mise en oeuvre de Storm.