Organisme de Formation aux technologies et métiers de L'informatique
hadoop

Formation Développement MapReduce & Spark sur Hadoop

Big Data - Mise en oeuvre de traitements avec Spark

Informations générales

HF-HADM
3 jours (21h)
2 290 €HT
60 €HT (en option)

Objectifs

Après ce cours, vous serez capable de :

  • Identifier le fonctionnement de MapReduce
  • Identifier le fonctionnement de Spark
  • Pouvoir développer des applications distribuées dans un environnement

Public

Ce cours s'adresse avant tout aux personnes suivantes :

  • Chef de projets, Développeur, Ingénieur d'études, Architecte technique et toute personne souhaitant développer des applications distribuées dans un environnement Hadoop

Prérequis

Pour suivre ce cours, vous devez déjà posséder les connaissances suivantes :

  • Notions en programmation Java et/ou Python et SQL

Programme de la formation

Hadoop est un framework libre et Open Source destiné à faciliter la création d'applications distribuées pour le stockage et le traitement d'immenses volumes de données. Cette formation vous permettra d'acquérir les compétences nécessaires pour développer des solutions compatibles avec la plateforme Hadoop. Vous apprenez à développer des applications MapReduce et Spark sur cette plateforme.

Introduction

  • Introduction au Big Data
  • Introduction à Hadoop
  • Introduction à Spark

La plateforme Hadoop

  • Architecture et composants de la plateforme Hadoop
  • HDFS : NameNode / DataNode
  • Paradigme MapReduce et YARN
  • Les technologies émergentes

MapReduce

  • Détailler l'approche MapReduce
  • Programmation MapReduce
  • Configuration des jobs
  • Comment interagir avec les jobs MapReduce
  • Principales Interfaces utilisateurs : Mapper, Reducer, Partitioner, Counter
  • Les entrées / sorties d'une application MapReduce
  • Comment réaliser des tests unitaires d'applications MapReduce
  • Comment utiliser des combinateurs MapReduce, des partitioners et des caches distribués

Meilleures pratiques pour développer et débugger des applications MapReduce

plus d'infos

Méthode pédagogique

Chaque participant travaille sur un poste informatique qui lui est dédié. Un support de cours lui est remis soit en début soit en fin de cours. La théorie est complétée par des cas pratiques ou exercices corrigés et discutés avec le formateur. Le formateur projette une présentation pour animer la formation et reste disponible pour répondre à toutes les questions.

Méthode d'évaluation

Tout au long de la formation, les exercices et mises en situation permettent de valider et contrôler les acquis du stagiaire. En fin de formation, le stagiaire complète un QCM d'auto-évaluation.

Suivre cette formation à distance

  • Un ordinateur avec webcam, micro, haut-parleur et un navigateur (de préférence Chrome ou Firefox). Un casque n'est pas nécessaire suivant l'environnement.
  • Une connexion Internet de type ADSL ou supérieure. Attention, une connexion Internet ne permettant pas, par exemple, de recevoir la télévision par Internet, ne sera pas suffisante, cela engendrera des déconnexions intempestives du stagiaire et dérangera toute la classe.
  • Privilégier une connexion filaire plutôt que le Wifi.
  • Avoir accès au poste depuis lequel vous suivrez le cours à distance au moins 2 jours avant la formation pour effectuer les tests de connexion préalables.
  • Votre numéro de téléphone portable (pour l'envoi du mot de passe d'accès aux supports de cours et pour une messagerie instantanée autre que celle intégrée à la classe virtuelle).
  • Selon la formation, une configuration spécifique de votre machine peut être attendue, merci de nous contacter.
  • Pour les formations incluant le passage d'une certification la dernière journée, un voucher vous est fourni pour passer l'examen en ligne.
  • Pour les formations logiciel (Adobe, Microsoft Office...), il est nécessaire d'avoir le logiciel installé sur votre machine, nous ne fournissons pas de licence ou de version test.
  • Horaires identiques au présentiel.

Mis à jour le 30/01/2024