Recherche avancée
Par formation
Par date
Par ville
logo HUB Formation
Organisme de Formation
aux Technologies et métiers de L'informatique
La pédagogie au service de la technologie
Accueil > Domaines > Big Data > Le développement d'applications Big Data et la Data Visualisation

Le développement d'applications Big Data et la Data Visualisation

Objectifs

  • Définir et identifier le contexte spécifique des projets Big Data
  • Connaitre le panorama technologique et enjeux socio-économiques
  • Mesurer l’impact des choix technologiques en matière de développement Big Data
  • Appréhender l’environnement : Hadoop (distribution HortonWorks)
  • Maîtriser les techniques de développement : MapReduce
  • Mettre en œuvre les langages de programmation : Python, R, …
  • Connaitre Le Deep Machine Learning
  • Sélectionner le mode pertinent de Data Visualisation
  • Consolider ses connaissances à travers un cas d’usage

Public

  • développeurs Big Data

Prérequis

  • une expérience dans le développement, si possible avec Java
  • une compréhension des algorithmes est un plus

Programme de la formation

PANORAMA TECHNOLOGIQUE ET ENJEUX SOCIO-ECONOMIQUES

  • Bâtir une vision Data Centric pour l'entreprise
  • Etudier l'environnement concurrentiel de l'entreprise
  • Comment créer de la valeur ou apporter de la valeur complémentaire aux données
  • Comment utiliser les Big Data qui doivent être un levier technologique pour accompagner les enjeux métiers et non l'inverse
  • Comprendre les acteurs du Big Data et leur positionnement
  • Quelle vision à 3 ans
  • Propriété de la donnée, environnement juridique du traitement, sécurité
  • La nécessité de la gouvernance des données
  • Qu'est-ce qu'un CDO ?

ASPECTS JURIDIQUES ET ETHIQUES : QUELLES DONNEES POUR QUELS USAGES ?

  • Données objectives
  • Données à caractère personnel
  • Quelle gestion des données personnelles ? (donnée se rapportant à une personne physique, qui peut être identifiée quel que soit le moyen utilisé)
  • Quels Impact sur la vie privée
  • Surveillance et sanction de la CNIL
  • Déclaration préalable
  • Exemples
  • Présentation du socle (la finalité du traitement) et de 4 conditions
  • Finalité explicite et légitime
  • Loyauté dans la mise en œuvre du traitement
  • Données pertinentes
  • Durée de conservation non excessive
  • Sécurité

IMPACT DES CHOIX TECHNOLOGIQUES EN MATIERE DE DEVELOPPEMENT BIG DATA

  • Les nouveaux frameworks Big Data
  • Prendre en compte l'architecture de donnée distribuée
  • Prendre en compte les traitements distribués
  • L'importance de Java au sein des architectures Hadoop
  • Le management des données

L’ENVIRONNEMENT : APACHE HADOOP

  • Découvrir Hortonworks la distribution 100% Apache Hadoop
  • Hortonworks et l'ODPi (Open Data Platform)
  • Fondamentaux d’Hadoop
  • L’intérêt d’Hadoop
  • Vue globale d’Hadoop
  • HDFS
  • MapReduce
  • YARN
  • L’écosystème Hadoop

LE DEVELOPPEMENT : MAPREDUCE

  • Introduction à PIG
  •  Fondamentaux de PIG
  • Pourquoi utiliser Hive ?
  • Comparer PIG aux ETL traditionnelles
  • Cas d’utilisation de PIG
  • Introduction à Hive
  • Introduction à Impala et Hive
  • Pourquoi utiliser Impala et Hive ?
  • Comparer Hive aux Bases de données traditionnelles
  • Cas d’utilisation de Hive
  • Modélisation et gestion des données avec Impala et Hive
  • Aperçu sur le stockage de données
  • Création de bases de données et de tableaux
  • Remplir les données dans les tableaux
  • HCatalog
  • Mettre en mémoire-cache les Métadonnées Impala
  • Les formats de données
  • Sélectionner un format de fichier
  • Support d’outils Hadoop pour les formats de fichier
  • Schémas Avro
  • Utiliser Avro avec Hive et Sqoop
  • Evolution du Schéma Avro
  • Compression
  • Capturer les données avec Apache Flume
  • Qu’est-ce qu'Apache Flume ?
  • Architecture basique de Flume
  • Les sources de Flume
  • Flume Sinks
  • Les réseaux de Flume
  • La configuration de Flume
  • Les bases de Spark
  • Qu’est-ce qu’Apache Spark ?
  • Utiliser « Spark Shell »
  • RDDs (Resilient Distributed Datasets)
  • La programmation fonctionnelle dans Spark
  • Travailler avec des « RDD » dans Spark
  • Ecrire et déployer des applications Spark
  • La programmation parallèle avec Spark
  • Aperçu de Shark (Spark SQL)

LANGAGES DE PROGRAMMATION : PYTHON, R, …

  • Python
  • Syntaxe basique
  • Structures procédurales
  • Bibliothèques essentielles
  • La programmation orientée objet
  • Le langage R
  • Variables et types de bases (numeric, character, list, …)
  • Tests
  • Boucles
  • Fonctions
  • Fusion de données
  • Traitement des valeurs manquantes
  • Représentations graphiques des données
  • Pie charts et graphiques à double échelle

LE DEEP MACHINE LEARNING

  • Approche fréquentiste
  • Apprentissage statistique
  • Conditionnement des données et réduction de dimension
  • Machines à vecteurs supports (SVM) et méthodes à noyaux
  • Quantification Vectorielle
  • Réseaux de neurones et deep learning
  • Ensemble learning et arbres de décision
  • Bandits

LA DATA VISUALISATION

  • Connaître les modes de représentation des données
  • Déterminer le graphe le plus pertinent selon le message à délivrer
  • Concevoir et expérimenter des concepts
  • Justifier ses analyses et choix graphiques
  • Savoir sélectionner les outils de datavisualisation à positionner sur les plateformes Big Data

ETUDES DE CAS

  • Mise en place d'une architecture Big Data orientée Data Lake chez Hermès et mise en place d'une solution de Datavizualisation pour la gestion de la console de Data Stewardship.