Recherche avancée
Par formation
Par date
Par ville
logo HUB Formation
Organisme de Formation
aux Technologies et métiers de L'informatique
La pédagogie au service de la technologie
Accueil > Domaines > Big Data > Hadoop - Cloudera /Hortonworks pour développeurs

Hadoop - Cloudera /Hortonworks pour développeurs

BIG DATA LES DISTRIBUTIONS HADOOP

hadoop

Objectifs

  • une étude en profondeur dans les développements des applications Hadoop 2.0.
  • définir et développer des applications MapReduce(Yarn), Hive et Pig efficaces et pertinentes avec Hadoop 2.0.
  • exploiter toute la puissance d’Hadoop 2.0 pour manipulation, analyse et exécution des calculs sur leurs de cluster Hadoop.

Public

  • développeurs qui développeront, maintiendront et optimiseront des applications pour Hadoop.

Prérequis

  • une expérience dans le développement, si possible avec Java.
  • une connaissance préliminaire d’Hadoop n’est pas exigée.

Programme de la formation

INTRODUCTION

  • Présentation générale d’Hadoop
  • Exemples d’utilisation dans différents secteurs
  • Historique et chiffres clés : Quand parle-t-on de Big Data ?

HDFS : INTERFACAGE AVEC JAVA

  • Le système de fichier Hadoop Distributed File System (HDFS)
  • Lecture et écriture sur le HDFS
  • Manipulation des types de fichier SequenceFile
  • Qu’est-ce que le DistributedCache et comment partager les références ?

MAPREDUCE/YARN : PRINCIPE ET DEVELOPPEMENT JAVA

  • Le paradigme MapReduce et l’utilisation à travers YARN
  • Implémentation de problématiques réelles avec le paradigme MapReduce
  • Implémentation de problématiques plus complexes
  • Utilisation des combinateurs et partitionners
  • Les bonnes pratiques pour le développement des applications MapReduce

MANIPULATION DES DONNEES AVEC UN QUERY LANGUAGE ET JAVA

  • Présentation et fonctionnement de HBase, Hive et PIG
  • HBase et Hive : JDBC et requêtes
  • Extension du HiveQL avec des fonctionnalités développées : UDF (User-Defined Functions)
  • Pig : Développement et intégration avec JAVA
  • Extension de PIG avec des fonctionnalités développées : UDF (User-Defined Functions)