Organisme de Formation aux technologies et métiers de L'informatique

Formation Big Data - Le SQL distribué

Informations générales

BIG552
2 jours (14h)
1 510 €HT
46 €HT (en option)

Objectifs

Dans ce cours, vous apprendrez à :

  • Comprendre les connexions existantes entre les mondes relationnels et NoSQL en environnement Big Data
  • Savoir mettre en oeuvre Hive et Pig, Impala, les Spark Dataframes

Public

Ce cours s'adresse avant tout aux personnes suivantes :

  • Experts en bases de données relationnelles, chefs de projet

Prérequis

Pour suivre ce cours, vous devez déjà posséder les connaissances suivantes :

  • Connaissance générale des systèmes d'informations et des bases de données

Programme de la formation

Langage historique né avec les systèmes de gestion de bases de données relationnelles au début des années 2000, le SQL a été tellement utilisé par les développeurs et autres utilisateurs de solutions de Business Intelligence qu’il fait aujourd’hui figure de standard. Mais l’émergence des bases de données distribuées qui reposent sur des architectures machines en cluster vient changer la donne en rendant l’utilisation traditionnelle du SQL inopérante. C’est pourquoi la communauté Open Source a créé différents outils capables d’exécuter des requêtes SQL sur ces nouveaux systèmes distribués (également appelés bases NoSQL). Les participants à cette formation de 2 jours découvriront les principales solutions aujourd’hui disponibles et seront à même de choisir la plus adaptée à leur problématique spécifique.

PRÉSENTATION

  • Besoin
  • Adéquation entre les objectifs et les outils
  • Faciliter la manipulation de gros volumes de données en conservant une approche utilisateurs
  • Rappels sur le stockage : HDFS, Cassandra, HBase et les formats de données (parquet, orc, raw, clés/valeurs)
  • Les outils : Hive, Impala, Tez, Presto, Drill, Pig, Spark/QL

HIVE ET PIG

  • Présentation
  • Mode de fonctionnement
  • Rappel sur map/reduce
  • Hive : le langage HiveQL - Exemples
  • Pig : le langage pig/latin - Exemples

IMPALA

  • Présentation
  • Cadre d'utilisation
  • Contraintes
  • Liaison avec le métastore Hive
  • Travaux pratiques : mise en évidence des performances

PRESTO

  • Cadre d'utilisation
  • Sources de données utilisables
  • Travaux pratiques : mise en oeuvre d'une requête s'appuyant sur Cassandra et PostgreSQL

SPARK DATAFRAME

  • Les différentes approches
  • Syntaxe Spark/SQl
  • APIs QL
  • Compilation catalyst
  • Syntaxe, opérateurs
  • Travaux pratiques : mise en oeuvre d'une requête s'appuyant sur HBase et HDFS

DRILL

  • Utilisation d'APIs JDBC, ODBC
  • Indépendance Hadoop
  • Contraintes d'utilisation
  • Performances

COMPARATIFS

  • Compatibilité ANSI/SQL
  • Approches des différents produits
  • Critères de choix
plus d'infos

Méthode pédagogique

Chaque participant travaille sur un poste informatique qui lui est dédié. Un support de cours lui est remis soit en début soit en fin de cours. La théorie est complétée par des cas pratiques ou exercices corrigés et discutés avec le formateur. Le formateur projette une présentation pour animer la formation et reste disponible pour répondre à toutes les questions.

Méthode d'évaluation

Tout au long de la formation, les exercices et mises en situation permettent de valider et contrôler les acquis du stagiaire. En fin de formation, le stagiaire complète un QCM d'auto-évaluation.

Suivre cette formation à distance

  • Un ordinateur avec webcam, micro, haut-parleur et un navigateur (de préférence Chrome ou Firefox). Un casque n'est pas nécessaire suivant l'environnement.
  • Une connexion Internet de type ADSL ou supérieure. Attention, une connexion Internet ne permettant pas, par exemple, de recevoir la télévision par Internet, ne sera pas suffisante, cela engendrera des déconnexions intempestives du stagiaire et dérangera toute la classe.
  • Privilégier une connexion filaire plutôt que le Wifi.
  • Avoir accès au poste depuis lequel vous suivrez le cours à distance au moins 2 jours avant la formation pour effectuer les tests de connexion préalables.
  • Votre numéro de téléphone portable (pour l'envoi du mot de passe d'accès aux supports de cours et pour une messagerie instantanée autre que celle intégrée à la classe virtuelle).
  • Selon la formation, une configuration spécifique de votre machine peut être attendue, merci de nous contacter.
  • Pour les formations incluant le passage d'une certification la dernière journée, un voucher vous est fourni pour passer l'examen en ligne.
  • Pour les formations logiciel (Adobe, Microsoft Office...), il est nécessaire d'avoir le logiciel installé sur votre machine, nous ne fournissons pas de licence ou de version test.
  • Horaires identiques au présentiel.

Mis à jour le 08/11/2023