Formation BigData - intégration SQL, Hive, SparkDataFrames

Télécharger le plan de cours

Demander un devis

Obtenir un renseignement

Informations générales

Référence CB045

Durée 2 jours (14h)

Tarif 1 510 €HT

Repas 46 €HT (en option)

Objectifs

Après ce cours, vous serez capable de :

Identifier les connexions existantes entre les mondes relationnels et NoSQL en environnement Big Data.
Savoir mettre en oeuvre Hive et Pig, Impala, les Spark Dataframes.

Public

Ce cours s'adresse avant tout aux personnes suivantes :

Experts en bases de données relationnelles
Chefs de projet

Prérequis

Pour suivre ce cours, vous devez déjà posséder les connaissances suivantes :

Connaissance générale des systèmes d'informations et des bases de données.

Programme de la formation

Présentation

Besoin. Adéquation entre les objectifs et les outils.
Faciliter la manipulation de gros volumes de données en conservant une approche utilisateurs.
Rappels sur le stockage : HDFS, Cassandra, HBase et les formats de données : parquet, orc, raw, clés/valeurs
Les outils : Hive, Impala, Tez, Presto, Drill, Pig, SparkQL

Hive et Pig

Mode de fonctionnement.
Rappel sur map/reduce.
Hive : le langage HiveQL.
Pig : le langage pig/latin.

Impala

Cadre d'utilisation.
Contraintes.
Liaison avec le metastore Hive.
Atelier : mise en évidence des performances.

Presto

Cadre d'utilisation.
Sources de données utilisables.
Atelier : mise en oeuvre d'une requête s'appuyant sur Cassandra et PostgreSQL.

Spark DataFrame

Les différentes approches.
Syntaxe SparkQL. APIs QL.
Compilation catalyst.
Syntaxe, opérateurs.
Atelier : mise en oeuvre d'une requête s'appuyant sur HBase et HDFS.

Drill

Utilisation d'APIs JDBC, ODBC.
Indépendance Hadoop.
Contraintes d'utilisation.
Performances.

Comparatifs

Compatibilité ANSI/SQL.
Approches des différents produits.
Critères de choix.

plus d'infos

Méthode pédagogique

Chaque participant travaille sur un poste informatique qui lui est dédié. Un support de cours lui est remis soit en début soit en fin de cours. La théorie est complétée par des cas pratiques ou exercices corrigés et discutés avec le formateur. Le formateur projette une présentation pour animer la formation et reste disponible pour répondre à toutes les questions.

Méthode d'évaluation

Tout au long de la formation, les exercices et mises en situation permettent de valider et contrôler les acquis du stagiaire. En fin de formation, le stagiaire complète un QCM d'auto-évaluation.

Mis à jour le 25/10/2023