Organisme de Formation aux technologies et métiers de L'informatique
Effectuez une recherche
recherche
Accédez à votre espace client
Une question ? Contactez-nous
éditeurs domaines cursus certifications cpf
hadoop

Formation Hadoop - Cloudera/Hortonworks pour développeurs

Développement de solutions Hadoop Cloudera/Hortonworks

Télécharger le plan de cours
Demander un devis
Obtenir un renseignement

Informations générales

BIG502
3 jours (21h)
2 400 €HT
69 €HT (en option)

Objectifs

  • Pouvoir réaliser une étude en profondeur dans les développements des applications Hadoop 2.0
  • Apprendre à définir et à développer des applications MapReduce (Yarn), Hive et Pig efficaces et pertinentes avec Hadoop 2.0
  • Être en mesure d'exploiter toute la puissance d’Hadoop 2.0 pour manipulation, analyse et exécution des calculs sur leur cluster Hadoop

Public

  • Développeurs qui développeront, maintiendront et optimiseront des applications pour Hadoop

Prérequis

  • Posséder une expérience dans le développement, si possible avec Java
  • Une connaissance préliminaire d’Hadoop n’est pas exigée

Programme de la formation

Initialement proposé par Google qui devait faire face à un volume croissant de données à analyser et fournir aux internautes des résultats de recherche pertinents, MapReduce, combiné à d’autres publications telles que Google File System et BigTable, est à l’origine de Hadoop. Confronté à des problèmes similaires à ceux rencontrés par la firme de Mountain View, Doug Cutting, alors chez Yahoo !, lance au milieu des années 2000, sous forme de projet de la fondation Apache, le Framework Hadoop. Devant le succès rencontré par sa solution, il rejoint Cloudera qui propose alors sa propre distribution d’Hadoop, la plus utilisée à ce jour. Outre un support sur le produit, la société propose également une suite d’outils permettant des traitements temps réel de très gros volumes de données.

INTRODUCTION

  • Présentation générale d’Hadoop
  • Exemples d’utilisation dans différents secteurs
  • Historique et chiffres clés : Quand parle-t-on de Big Data ?

HDFS : INTERFAÇAGE AVEC JAVA

  • Le système de fichier Hadoop Distributed File System (HDFS)
  • Lecture et écriture sur le HDFS
  • Manipulation des types de fichier SequenceFile
  • Qu’est-ce que le DistributedCache et comment partager les références ?

MAPREDUCE/YARN : PRINCIPE ET DÉVELOPPEMENT JAVA

  • Le paradigme MapReduce et l’utilisation à travers Yarn
  • Implémentation de problématiques réelles avec le paradigme MapReduce
  • Implémentation de problématiques plus complexes
  • Utilisation des combinateurs et partitionners
  • Les bonnes pratiques pour le développement des applications MapReduce

MANIPULATION DES DONNÉES AVEC UN QUERY LANGUAGE ET JAVA

  • Présentation et fonctionnement de HBase, Hive et PIG
  • HBase et Hive : JDBC et requêtes
  • Extension du HiveQL avec des fonctionnalités développées : UDF (User-Defined Functions)
  • Pig : développement et intégration avec Java
  • Extension de Pig avec des fonctionnalités développées : UDF (User-Defined Functions)
plus d'infos

Méthode pédagogique

Chaque participant travaille sur un poste informatique qui lui est dédié. Un support de cours lui est remis soit en début soit en fin de cours. La théorie est complétée par des cas pratiques ou exercices corrigés et discutés avec le formateur. Le formateur projette une présentation pour animer la formation et reste disponible pour répondre à toutes les questions.

Méthode d'évaluation

Tout au long de la formation, les exercices et mises en situation permettent de valider et contrôler les acquis du stagiaire. En fin de formation, le stagiaire complète un QCM d'auto-évaluation.

Mis à jour le 17/01/2023