Recherche avancée
Par formation
Par date
Par ville
logo HUB Formation
Organisme de Formation
aux Technologies et métiers de L'informatique
La pédagogie au service de la technologie
> > > Hadoop : les fondamentaux

Hadoop : les fondamentaux

hadoop

Cette formation est une initiation aux fondamentaux d’Hadoop. Elle donne aux participants une connaissance théorique et pratique de la plateforme, au travers de plusieurs exercices pratiques appliqués à des cas réels. A l’issue de la session, les participants seront en capacité d’utiliser les outils de l’écosystème Hadoop pour explorer des données stockées sur un entrepôt Big Data.

Objectifs

  • Appréhender le fonctionnement d’Hadoop
  • Identifier l’écosystème : quels outils pour quels usages ?
  • Manipuler les principales commandes shell d’interaction avec Hadoop
  • Emettre des requêtes SQL avec Hive et HCatalog
  • Créer des traitements de données avec Pig

Public

  • Analyste
  • Data scientist
  • Architecte
  • Développeur

Prérequis

  • Connaissances de base en programmation ou en scripting

Programme de la formation

Introduction au Big Data

  • Qu’est-ce que Big Data ?
  • Les grands enjeux métier
  • Paysage technologique : les architectures Big Data

Introduction à Hadoop

  • Historique succinct
  • Le cœur de la plateforme : HDFS et YARN
  • L’écosystème Hadoop
    • Frameworks et algorithmes
    • Bases de données
    • Traitements des données
    • Intégration
  • Hadoop et la sécurité des données

Manipuler la ligne de commande Hadoop

  • Présentation des principales commandes
  • Mise en pratique "Manipulation et transfert de fichiers en ligne de commande

Une interface utilisateur pour Hadoop : Hue

  • Présentation de Hue et de ses modules
  • Mise en pratique "Manipulation interactive de données"

Interroger Hadoop avec du SQL : Hive

  • Présentation de Hive
  • Mise en pratique "Manipulation de données avec SQL"
    • Créer un modèle de données
    • Importer des fichiers sources
    • Requêter les données

Transformer des données : le langage Pig

  • Présentation de Pig
  • Mise en pratique "Transformation de données avec Pig"
    • Charger des données semi-structurées
    • Croiser avec des données Hive
    • Sauvegarder le résultat dans HDFS

Ecriture de traitements avancés

  • Présentation du framework Hadoop Streaming
  • Présentation express du langage Python et du squelette de programme pour l’exercice
  • Mise en pratique "Ecriture d’un programme de manipulation complexe"

Composition et ordonnancement de traitements

  • Présentation d’Oozie
  • Mise en pratique "Création d’un pipeline de traitement de données"

Méthode pédagogique

L'évaluation des acquis se fait tout au long de la session au travers des ateliers et des mises en pratique. Une évaluation à chaud sur la satisfaction des stagiaires est réalisée systématiquement en fin de session et une attestation de formation est délivrée aux participants mentionnant les objectifs de la formation, la nature, le programme et la durée de l'action de formation ainsi que la formalisation des acquis.