Recherche avancée
Par formation
Par date
Par ville
logo HUB Formation
Organisme de Formation
aux Technologies et métiers de L'informatique
La pédagogie au service de la technologie
> > > Réaliser de l'ingénierie de données avec Microsoft HDInsight

Réaliser de l'ingénierie de données avec Microsoft HDInsight

Utiliser une plate-forme Hadoop dans le Cloud Microsoft pour l'ingénierie des données

microsoft

Précurseur dans les solutions d’analyses de gros volumes de données, Hadoop est pour certains devenu un synonyme de Big Data. Naturellement, cette infrastructure de traitements distribués open source a séduit les éditeurs qui l’ont majoritairement intégrée dans leurs offres. Ainsi, Microsoft propose un service analytique Big Data open source baptisé Azure HDInsight. Parce qu’il intègre les standards du Big Data (Spark, Hive, HBase Storm, Kafka, R,…) et est hébergé sur une plate-forme Cloud disposant de l’un des meilleurs contrats SLA du marché, Microsoft entend séduire de nombreuses entreprises. Les participants à cette formation de 5 jours acquerront les compétences nécessaires pour concevoir et réaliser des projets Hadoop dans Azure HDInsight.

Objectifs

  • Savoir déployer des clusters HDInsight
  • Être en mesure de charger des données dans HDInsight
  • Comprendre comment dépanner HDInsight
  • Apprendre à mettre en place des solutions batch
  • Être capable de concevoir des solutions Batch ETL pour le Big Data avec Spark
  • Pouvoir analyser les données avec Spark SQL, Hive et Phoenix
  • Comprendre comment implémenter Spark Streaming en utilisant l'API DStream
  • Apprendre à développer des solutions de traitement Big Data en temps réel avec Apache Storm
  • Être capable de construire des solutions qui utilisent Kafka et HBase

Public

  • Ingénieurs de données, architectes de données, Data Scientist et les développeurs de données qui envisagent d'implémenter de grands workflows d'ingénierie de données sur HDInsight.

Prérequis

  • Avoir suivi la formation "Les fondamentaux de l'analyse statistique avec R" ou disposer des connaissances équivalentes
  • Connaissance des méthodes statistiques communes et des meilleures pratiques d'analyse de données
  • Connaissances de base du système d'exploitation Microsoft Windows et de ses fonctionnalités principales
  • Connaissance pratique des bases de données relationnelles

Programme de la formation

Mise en route de HDInsight

  • Qu'est ce que le Big Data
  • Introduction à Hadoop
  • Travailler avec la fonction MapReduce
  • Présentation de HDInsight

Déploiement de clusters HDInsight

  • Identification des types de cluster HDInsight
  • Gérer les clusters HDInsight en utilisant le portail Azure
  • Gérer les clusters HDInsight en utilisant Azure PowerShell

Autoriser les utilisateurs à accéder aux ressources

  • Clusters non liés à un domaine
  • Configuration de clusters HDInsight connectés au domaine
  • Gestion des clusters HDInsight connectés au domaine

Chargement des données dans HDInsight

  • Stockage des données pour le traitement HDInsight
  • Utilisation des outils de chargement de données
  • Maximiser la valeur des données stockées

Dépannage de HDInsight

  • Analyse des logs HDInsight
  • logs YARN
  • Heap dumps (décharge)
  • Operations Management Suite

Implémentation de solutions Batch

  • Stockage Apache Hive
  • Requêtes de données HDInsight utilisant Hive and Pig
  • Mise en œuvre HDInsight

Concevoir des solutions Batch ETL pour le Big Data avec Spark

  • Qu'est-ce que Spark ?
  • ETL avec Spark
  • Performance Spark

Analyser les données avec Spark SQL

  • Implémentation de requêtes itératives et interactives
  • Effectuer une analyse de données exploratoire

Analyser les données avec Hive et Phoenix

  • Mettre en place des requêtes interactives pour le Big Data avec Hive interactive
  • Effectuer une analyse de données exploratoire à l'aide de Hive
  • Effectuer un traitement interactif en utilisant Apache Phoenix

Stream Analytics

  • Analyse de flux
  • Processus de diffusion des données à partir de l'analyse des flux
  • Gestion des travaux d'analyse de flux

Mettre en œuvre de solutions de streaming avec Kafka et HBase

  • Construction et déploiement d'un cluster Kafka
  • Publication, consommation et traitement des données à l'aide du cluster Kafka
  • Utilisation de HBase pour stocker et requêter des données

Développer des solutions de traitement Big Data en temps réel avec Apache Storm

  • Persistance des données à long terme
  • Transmission des données avec Storm
  • Création de topologies Storm
  • Configuration d'Apache Storm

Créer des applications Spark Streaming

  • Utilisation de Spark Streaming
  • Création d'applications Spark Streaming structurées
  • Persistance et visualisation

Certification

Cette formation prépare au test 70-776