Recherche avancée
Par formation
Par date
Par ville
logo HUB Formation
Organisme de Formation
aux Technologies et métiers de L'informatique
La pédagogie au service de la technologie
Accueil > Hadoop - Cloudera/Hortonworks pour développeurs

Hadoop - Cloudera/Hortonworks pour développeurs

Développement de solutions Hadoop Cloudera/Hortonworks

Initialement proposé par Google qui devait faire face à un volume croissant de données à analyser et fournir aux internautes des résultats de recherche pertinents, MapReduce, combiné à d’autres publications telles que Google File System et BigTable, est à l’origine de Hadoop. Confronté à des problèmes similaires à ceux rencontrés par la firme de Mountain View, Doug Cutting, alors chez Yahoo !, lance au milieu des années 2000, sous forme de projet de la fondation Apache, le Framework Hadoop. Devant le succès rencontré par sa solution, il rejoint Cloudera qui propose alors sa propre distribution d’Hadoop, la plus utilisée à ce jour. Outre un support sur le produit, la société propose également une suite d’outils permettant des traitements temps réel de très gros volumes de données.

Objectifs

  • Pouvoir réaliser une étude en profondeur dans les développements des applications Hadoop 2.0
  • Apprendre à définir et à développer des applications MapReduce (Yarn), Hive et Pig efficaces et pertinentes avec Hadoop 2.0
  • Être en mesure d'exploiter toute la puissance d’Hadoop 2.0 pour manipulation, analyse et exécution des calculs sur leur cluster Hadoop

Public

  • Développeurs qui développeront, maintiendront et optimiseront des applications pour Hadoop

Prérequis

  • Posséder une expérience dans le développement, si possible avec Java
  • Une connaissance préliminaire d’Hadoop n’est pas exigée

Programme de la formation

INTRODUCTION

  • Présentation générale d’Hadoop
  • Exemples d’utilisation dans différents secteurs
  • Historique et chiffres clés : Quand parle-t-on de Big Data ?

HDFS : INTERFAÇAGE AVEC JAVA

  • Le système de fichier Hadoop Distributed File System (HDFS)
  • Lecture et écriture sur le HDFS
  • Manipulation des types de fichier SequenceFile
  • Qu’est-ce que le DistributedCache et comment partager les références ?

MAPREDUCE/YARN : PRINCIPE ET DÉVELOPPEMENT JAVA

  • Le paradigme MapReduce et l’utilisation à travers Yarn
  • Implémentation de problématiques réelles avec le paradigme MapReduce
  • Implémentation de problématiques plus complexes
  • Utilisation des combinateurs et partitionners
  • Les bonnes pratiques pour le développement des applications MapReduce

MANIPULATION DES DONNÉES AVEC UN QUERY LANGUAGE ET JAVA

  • Présentation et fonctionnement de HBase, Hive et PIG
  • HBase et Hive : JDBC et requêtes
  • Extension du HiveQL avec des fonctionnalités développées : UDF (User-Defined Functions)
  • Pig : développement et intégration avec Java
  • Extension de Pig avec des fonctionnalités développées : UDF (User-Defined Functions)

Méthode pédagogique

Chaque participant travaille sur un poste informatique qui lui est dédié. Un support de cours lui est remis soit en début soit en fin de cours. La théorie est complétée par des cas pratiques ou exercices corrigés et discutés avec le formateur. Le formateur projette une présentation pour animer la formation et reste disponible pour répondre à toutes les questions.

Méthode d'évaluation

Tout au long de la formation, les exercices et mises en situation permettent de valider et contrôler les acquis du stagiaire. En fin de formation, le stagiaire complète un QCM d'auto-évaluation.

Suivre cette formation à distance

  • Un ordinateur avec webcam, micro, haut-parleur et un navigateur (de préférence Chrome ou Firefox). Un casque n'est pas nécessaire suivant l'environnement.
  • Une connexion Internet de type ADSL ou supérieure. Attention, une connexion Internet ne permettant pas, par exemple, de recevoir la télévision par Internet, ne sera pas suffisante, cela engendrera des déconnexions intempestives du stagiaire et dérangera toute la classe.
  • Privilégier une connexion filaire plutôt que le Wifi.
  • Avoir accès au poste depuis lequel vous suivrez le cours à distance au moins 2 jours avant la formation pour effectuer les tests de connexion préalables.
  • Votre numéro de téléphone portable (pour l'envoi du mot de passe d'accès aux supports de cours et pour une messagerie instantanée autre que celle intégrée à la classe virtuelle).
  • Selon la formation, une configuration spécifique de votre machine peut être attendue, merci de nous contacter.
  • Pour les formations incluant le passage d'une certification la dernière journée, un voucher vous est fourni pour passer l'examen en ligne.
  • Pour les formations logiciel (Adobe, Microsoft Office...), il est nécessaire d'avoir le logiciel installé sur votre machine, nous ne fournissons pas de licence ou de version test.
  • Horaires identiques au présentiel.