Recherche avancée
Par formation
Par date
Par ville
logo HUB Formation
Organisme de Formation
aux Technologies et métiers de L'informatique
La pédagogie au service de la technologie
Accueil > Domaines > Automatisation > Introduction à Spark

Introduction à Spark

Apache Spark est un framework open source de calcul distribué en mémoire permettant le traitement de grands volumes. Le but de cette formation est de présenter le framework Spark et d'apprendre à l'utiliser avec le langage Python pour traiter des problèmes de Big Data.

Objectifs

  • Comprendre le principe de fonctionnement de Spark
  • Apprendre à utiliser l'API PySpark pour interagir avec Spark en Python
  • Apprendre à utiliser les méthodes de Machine Learning avec la librairie MLlib de Spark
  • Apprendre à traiter les flux de données avec Spark Streaming
  • Apprendre à manipuler les données avec Spark SQL

Public

  • Développeur, Data Analyst, Data Scientists, Architectes Big Data et toute autre personne souhaitant acquérir des connaissances dans le domaine de la Data Science et sur Spark

Prérequis

  • Une première expérience en programmation Python, avoir des connaissances en SQL, avoir des connaissances en mathématiques et statistiques.

Programme de la formation

Introduction à Hadoop

  • L'ère du Big Data
  • Architecture et composants de la plateforme Hadoop
  • NameNode / DataNode / RessourceManager
  • Paradigme MapReduce et YARN

Introduction à Spark

  • Qu'est-ce que Spark?
  • Spark vs MapReduce
  • Fonctionnement: RDD, DataFrames, Data Sets
  • Comment interagir avec Spark
  • PySpark: programmer avec Spark en Python

Manipulation des données

  • Formats basiques (fichiers textes, JSON, CSV, SequencesFiles, fichiers compressés)
  • Interagir avec des sources de données externes: connecteurs Hive, JDC, Hbase, ElasticSearch, …

Spark Streaming

  • Introduction à Spark Streaming
  • La notion de «DStream»
  • Principales sources de données
  • Utilisation de l'API
  • Manipulation des données

Spark SQL

  • Initiation à Spark SQL
  • Création de DataFrames
  • Manipulation des DataFrames (opérations basiques, agrégations & Groupby, Missing Data)
  • Chargement et stockage de données (avec Hive, JSON, etc…)

Spark ML avec MLlib

  • Modélisation Statistique & Apprentissage
  • Types de données (Vector / LabeledPoint / Model)
  • Préparation des données
  • Utilisation d'algorithme de MLlib (k-means / Régression logistique / arbre de discrimination / forêt aléatoire)
  • Exemple de création d'un modèle et de son évaluation avec Spark MLlib sur un jeu de données

GraphX et GraphFrames

  • Présentation de GraphX
  • Principe de création des graphes
  • API GraphX
  • Présentation GraphFrames
  • GraphX vs GraphFrames

Travaux pratiques

  • Alternance d'apports théoriques, d'exercices pratiques et de mise en situation sous forme de travaux pratiques permettant de tester les différentes notions abordées avec le langage Python