Organisme de Formation
aux Technologies et métiers de L'informatique

La pédagogie au service de la technologie

Accueil > Domaines > Big Data > Hadoop : l'écosystème

Hadoop : l'écosystème

hadoop

Objectifs

Faire le point sur les différents éléments de l'écosystème Hadoop et leurs rôles respectifs.
Comprendre l'architecture des applicatifs hadoop et savoir quels sont les apports et les cas d'usage des solutions hadoop.

Public

chefs de projets
développeurs
toute personne souhaitant comprendre les mécanismes Hadoop et le rôle de chaque composant

Prérequis

connaissances générales des systèmes d'information

Programme de la formation

Introduction

Rappels sur NoSQL.
Le théorème CAP.
Historique du projet hadoop.
Les fonctionnalités : stockage, outils d'extraction, de conversion, ETL, analyse, ...
Exemples de cas d'utilisation sur des grands projets.
Les principaux composants :HDFS pour le stockage et YARN pour les calculs.
Les distributions et leurs caractéristiques (HortonWorks, Cloudera, MapR, GreenPlum, Apache, ...)

L'architecture

Terminologie : NameNode, DataNode, ResourceManager.Rôle et interactions des différents composants.
Présentation des outils d'infrastructure : ambari, avro, zookeeper;de gestion des données : pig, oozie, tez, falcon, pentaho, sqoop, flume;d'interfaçage avec les applications GIS;de restitution et requêtage : webhdfs, hive, hawq, impala, drill, stinger, tajo, mahout, lucene, elasticSearch, Kibana
Les architectures connexes : spark, cassandra

Exemples interactifs

Démonstrations sur une architecture Hadoop multi-noeuds.
Mise à disposition d'un environnement pour des exemples de calcul.
Travaux pratiques : Recherches dans des données complexes non structurées.

Applications

Cas d'usages de hadoop.
Calculs distribués sur des clusters hadoop