Recherche avancée
Par formation
Par date
Par ville
logo HUB Formation
Organisme de Formation
aux Technologies et métiers de L'informatique
La pédagogie au service de la technologie
Accueil > éditeurs > Hadoop > Développement MapReduce & Spark sur Hadoop

Développement MapReduce & Spark sur Hadoop

hadoop

Hadoop est un framework libre et Open Source destiné à faciliter la création d'applications distribuées pour le stockage et le traitement d'immenses volumes de données. Cette formation vous permettra d'acquérir les compétences nécessaires pour développer des solutions compatibles avec la plateforme Hadoop. Vous apprenez à développer des applications MapReduce et Spark sur cette plateforme.

Objectifs

  • Comprendre le fonctionnement de MapReduce
  • Comprendre le fonctionnement de Spark
  • Pouvoir développer des applications distribuées dans un environnement

Public

  • Chef de projets, Développeur, Ingénieur d'études, Architecte technique et toute personne souhaitant développer des applications distribuées dans un environnement Hadoop

Prérequis

  • Notions en programmation Java et/ou Python et SQL

Programme de la formation

Introduction

  • Introduction au Big Data
  • Introduction à Hadoop
  • Introduction à Spark

La plateforme Hadoop

  • Architecture et composants de la plateforme Hadoop
  • HDFS : NameNode / DataNode
  • Paradigme MapReduce et YARN
  • Les technologies émergentes

MapReduce

  • Détailler l'approche MapReduce
  • Programmation MapReduce
  • Configuration des jobs
  • Comment interagir avec les jobs MapReduce
  • Principales Interfaces utilisateurs : Mapper, Reducer, Partitioner, Counter
  • Les entrées / sorties d'une application MapReduce
  • Comment réaliser des tests unitaires d'applications MapReduce
  • Comment utiliser des combinateurs MapReduce, des partitioners et des caches distribués
  • Meilleures pratiques pour développer et débugger des applications MapReduce