Recherche avancée
Par formation
Par date
Par ville
logo HUB Formation
Organisme de Formation
aux Technologies et métiers de L'informatique
La pédagogie au service de la technologie
Accueil > éditeurs > Hadoop > Hadoop : architecture et administration

Hadoop : architecture et administration

hadoop

Hadoop est la principale plateforme de Big Data. Elle permet d'assurer le stockage et le traitement d'immenses volumes de données. Cette formation vous permettra de comprendre son architecture et d'acquérir les compétences nécessaires pour installer, configurer et administrer un cluster Hadoop.

Objectifs

  • Pouvoir définir l'architecture d'une solution Hadoop
  • Installer et configurer un cluster Hadoop
  • Configurer et personnaliser un environnement Hadoop pour optimiser la disponibilité et le débit des données

Public

  • Chef de projets, Administrateur Système et toute personne souhaitant mettre en œuvre un système Hadoop

Prérequis

  • Connaissance systèmes Unix/Linux

Programme de la formation

Introduction

  • Présentation générale d'Hadoop
  • Exemples d'utilisations d'Hadoop
  • Principales Distributions d'Hadoop

Planification

Architecture et composants de la plateforme Hadoop

  • Approche conceptuelle d'Hadoop
  • HDFS : NameNode / DataNode
  • Paradigme MapReduce et YARN

Les technologies émergentes

Installation d'une plateforme Hadoop

  • Définir l'architecture
  • Installation d'Hadoop / HDFS
  • Installation des principaux composants : Hive, Pig, etc.
  • Mise en œuvre : installation d'Hadoop et de quelques composants

Configuration de l'environnement Hadoop

  • Étude des fichiers de configuration
  • modes de configurations : ligne de commandes, API Rest, serveur http intégré, APIS natives
  • Configuration des services: HDFS, YARN, Logs, etc.

Configuration des droits d'accès

Administration et gestion des ressources

  • Affecter les quotas
  • Gérer les planificateurs

Administration de HDFS

  • Gestion des démons Hadoop
  • Ajout/Suppression des nœuds
  • Gestion des données dans HDFS

Administration de MapReduce

  • Gestion des taches MapReduce
  • Gestion des nœuds de calcul

Planification des stratégies de sécurité et de récupération des données

Travaux pratiques

Installation, configuration et administration pas à pas d'un cluster Hadoop