Recherche avancée
Par formation
Par date
Par ville
logo HUB Formation
Organisme de Formation
aux Technologies et métiers de L'informatique
La pédagogie au service de la technologie
Accueil > éditeurs > Hadoop > AWS : BigData avec Hadoop EMR

AWS : BigData avec Hadoop EMR

hadoop

Objectifs

  • Savoir mettre en oeuvre les techniques de calcul distribué avec Hadoop EMR

Public

  • Architectes, chefs de projets souhaitant bénéficier des services offerts par la distribution Hadoop fournie par AWS

Prérequis

  • connaissance des fondamentaux du cloud

Programme de la formation

Présentation AWS Hadoop EMR

  • Rappels des services de base:
  • EC2 (Elastic Compute Cloud), VPC (Virtual Private Cloud), S3 (Simple Storage Service), EBS (Elastic Block Storage), RDS (Relational Database Service)
  • Caractéristiques du calcul distribué et du service EMR (Amazon Elactis MapReduce)

La distribution Hadoop EMR

  • Historique du projet hadoop
  • Les fonctionnalités : stockage, outils d'extraction, de conversion, ETL, analyse, ...
  • Exemples de cas d'utilisation sur des grands projets.
  • Les principaux composants :HDFS pour le stockage et YARN pour les calculs.
  • Les distributions et leurs caractéristiques. Composants de la distribution Hadoop EMR

Mise en oeuvre

  • Démonstrations sur une architecture Hadoop multi-noeuds.
  • TP : mise en place d'une configuration de base avec HBase. Cycle de fonctionnement. Transferts par s3. Envoi des travaux. Visualisation des résultats.
  • Suivi des travaux avec Hue. Interactivité avec les Notebooks : jupyter.
  • Configuration des composants de la distribution.

Exploitation

  • Gestion des évènements avec Events. Contrôle du réseau et des VPC.
  • Automatisation de l'exécution sur AWS depuis un poste local. Suivi distant des travaux.
  • Journalisation, visualisation des logs.Utilisation de la ferme aws en débordement d'une ferme locale.
  • Sécurité : mise en place d'une configuration de sécurité. Liens avec IAM.

Optimisation

  • Analyse des performances.
  • Déploiement d'une configuration avec Spark.
  • Evaluation des performances par rapport à une ferme locale.
  • Comparaison des coûts.
  • Mise en place d'automates d'optimisation.

 

Méthode pédagogique

Un support de cours est remis à chaque participant. La théorie est complétée par des cas pratiques ou exercices discutés avec le formateur.

Méthode d'évaluation

Le dernier jour se termine par un QCM permettant d'évaluer les acquis des stagiaires.