Big Data - Architectures

Panorama des solutions

Objectifs

Comprendre les concepts essentiels du Big Data et les technologies implémentées
Savoir analyser les difficultés propres à un projet Big Data, les freins et les apports, tant sur les aspects techniques que sur ceux liés à la gestion du projet

Public

Chefs de projets, architectes, développeurs, data scientists et toute personne souhaitant connaître les outils et solutions pour concevoir et mettre en oeuvre une architecture Big Data

Prérequis

Posséder une bonne culture générale des systèmes d'information

Programme de la formation

Introduction

L'essentiel du Big Data : calcul distribué, données non structurées
Besoins fonctionnels et caractéristiques techniques des projets
La valorisation des données
Le positionnement respectif des technologies de Cloud, Big Data et NoSQL et les liens, implications
Concepts clés : ETL, Extract Transform Load, CAP, 3V, 4V, données non structurées, prédictif, Machine Learning
Exemple d'application : Amazon Rekognition, Polly, EMR
L'écosystème du Big Data : les acteurs, les produits, état de l'art
Cycle de vie des projets Big Data
Emergence de nouveaux métiers : Data scientists, Data labs, Hadoop scientists, CDO, ...
Rôle de la DSI dans la démarche Big Data
Gouvernance des données : importance de la qualité des données, fiabilité, durée de validité, sécurité des données
Aspects législatifs : sur le stockage, la conservation de données, etc ... sur les traitements, la commercialisation des données, des résultats

Stockage distribué

Caractéristiques NoSQL
Les différents modes et formats de stockage
Les types de bases de données : clé/valeur, document, colonne, graphe
Besoin de distribution
Définition de la notion d'élasticité
Principe du stockage réparti
Définitions : réplication, sharding, gossip, hachage
Systèmes de fichiers distribués : GFS, HDFS, Ceph
Les bases de données : Redis, Cassandra, DynamoDB, Accumulo, HBase, MongoDB, BigTable, Neo4j, ...
Données structurées et non structurées, documents, images, fichiers XML, JSON, CSV, ...
Moteurs de recherche
Principe de fonctionnement
Méthodes d'indexation
Recherche dans les bases de volumes importants
Présentation d'Elasticsearch et SolR
Principe du schemaless, schéma de stockage, clé de distribution, clé de hachage

Calcul et restitution, intégration

Différentes solutions : calculs en mode batch, ou en temps réel, sur des flux de données ou des données statiques
Les produits : langage de calculs statistiques, R Statistics Language, sas, RStudio
Outils de visualisation : Tableau, QlikView
Ponts entre les outils statistiques et les bases Big Data
Outils de calcul sur des volumes importants : Kafka/Spark Streaming/Storm en temps réel, Hadoop/Spark en mode batch
Zoom sur Hadoop : complémentarité de HDFS et YARN
Restitution et analyse : logstash, kibana, elk, zeppelin
Principe de map/reduce et exemples d'implémentations, langages et sur-couches
Présentation de Pig pour la conception de tâches map/reduce sur une grappe Hadoop

Méthode pédagogique

Chaque participant travaille sur un poste informatique qui lui est dédié. Un support de cours lui est remis soit en début soit en fin de cours. La théorie est complétée par des cas pratiques ou exercices corrigés et discutés avec le formateur. Le formateur projette une présentation pour animer la formation et reste disponible pour répondre à toutes les questions.

Méthode d'évaluation

Tout au long de la formation, les exercices et mises en situation permettent de valider et contrôler les acquis du stagiaire. En fin de formation, le stagiaire complète un QCM d'auto-évaluation.