Recherche avancée
Par formation
Par date
Par ville
logo HUB Formation
Organisme de Formation
aux Technologies et métiers de L'informatique
La pédagogie au service de la technologie
Accueil > Domaines > Big Data > Spark - Traitement de données

Spark - Traitement de données

Objectifs

  • Se former à Spark, l'utiliser en ligne de commande et en développement
  • L'interfacer avec d'autres composants Big Data comme Kafka et Cassandra
  • Comprendre les notions de base des RDD (Resilient Distributed Datasets) et le partitionnement, le pipelining et les calculs de données
  • Comprendre les implications et les optimisations de performance lors de l'utilisation de Spark.

Programme de la formation

Introduction au Big Data
  • Apache Spark
  • Spark version MapReduce
  • Architecture de Spark
  • Interagir avec Spark
  • Resilient Distributed Datasets (RDD)
  • Poste de travail
  • Différents composants ( Kafka, Spark, Cassandra)
  • Outils de développement
  • Travaux Pratiques
  • Introduction à Scala
  • Les types de données
  • La manipulation des données (Map, FlatMap,For)
  • La programmation fonctionnelle
  • L'approche immutable
  • Exercices
  • Kafka, fonctionnement
  • TP Kafka
  • Spark Streaming
  • Développement Spark Streaming
  • Générer une source de données
  • Faire un traitement
  • Présentation SQL
  • Concevoir un modèle de données
  • Ecrire des requêtes
  • Spark SQL
  • TP simples
  • Support Cassandra
  • Description rapide de l'architecture Cassandra
  • Mise en oeuvre depuis Spark.
  • Exécution de travaux Spark s'appuyant sur une grappe Cassandra.