Organisme de Formation aux technologies et métiers de L'informatique
hadoop

Formation Hadoop : les fondamentaux

Informations générales

HDP01
2 jours (14h)
1 620 €HT
repas inclus

Objectifs

  • Appréhender le fonctionnement d’Hadoop
  • Identifier l’écosystème : quels outils pour quels usages ?
  • Manipuler les principales commandes shell d’interaction avec Hadoop
  • Emettre des requêtes SQL avec Hive et HCatalog
  • Créer des traitements de données avec Pig

Public

  • Analyste
  • Data scientist
  • Architecte
  • Développeur

Prérequis

  • Connaissances de base en programmation ou en scripting

Programme de la formation

Introduction au Big Data

  • Qu’est-ce que Big Data ?
  • Les grands enjeux métier
  • Paysage technologique : les architectures Big Data

Introduction à Hadoop

  • Historique succinct
  • Le cœur de la plateforme : HDFS et YARN
  • L’écosystème Hadoop
    • Frameworks et algorithmes
    • Bases de données
    • Traitements des données
    • Intégration
  • Hadoop et la sécurité des données

Manipuler la ligne de commande Hadoop

  • Présentation des principales commandes
  • Mise en pratique "Manipulation et transfert de fichiers en ligne de commande

Une interface utilisateur pour Hadoop : Hue

  • Présentation de Hue et de ses modules
  • Mise en pratique "Manipulation interactive de données"

Interroger Hadoop avec du SQL : Hive

  • Présentation de Hive
  • Mise en pratique "Manipulation de données avec SQL"
    • Créer un modèle de données
    • Importer des fichiers sources
    • Requêter les données

Transformer des données : le langage Pig

  • Présentation de Pig
  • Mise en pratique "Transformation de données avec Pig"
    • Charger des données semi-structurées
    • Croiser avec des données Hive
    • Sauvegarder le résultat dans HDFS

Ecriture de traitements avancés

  • Présentation du framework Hadoop Streaming
  • Présentation express du langage Python et du squelette de programme pour l’exercice
  • Mise en pratique "Ecriture d’un programme de manipulation complexe"

Composition et ordonnancement de traitements

  • Présentation d’Oozie
  • Mise en pratique "Création d’un pipeline de traitement de données"
plus d'infos

Méthode pédagogique

L'évaluation des acquis se fait tout au long de la session au travers des ateliers et des mises en pratique. Une évaluation à chaud sur la satisfaction des stagiaires est réalisée systématiquement en fin de session et une attestation de formation est délivrée aux participants mentionnant les objectifs de la formation, la nature, le programme et la durée de l'action de formation ainsi que la formalisation des acquis.

Méthode d'évaluation

Tout au long de la formation, les exercices et mises en situation permettent de valider et contrôler les acquis du stagiaire. En fin de formation, le stagiaire complète un QCM d'auto-évaluation.