Formation Apache Airflow

À la fin de cette formation, vous pourrez rendre vos workflows dynamiques, automatisés et scalables. Vous apprendrez également à créer vos propres plug-ins, opérateurs et exécuteurs afin de coller au mieux à votre architecture big data.

Vous découvrirez les différents concepts qui composent Airflow, qu’est-ce qu’un DAG, une tâche, un exécuteur, un opérateur, etc. Nous ferons un tour de l’interface utilisateur ainsi que de l’interface en ligne de commande afin de très rapidement développer notre premier workflow interagissant avec différents systèmes de données.

De plus, vous apprendrez également les concepts avancés. Nous verrons avec de la mise en pratique et à travers de multiples exemples : comment rendre Airflow scalable à travers l’utilisation de différents Executors. Un programme qui vous permettra d’orchestrer vos pipelines de données de manière simple et robuste.

Comme toutes nos formations, celle-ci vous présentera la dernière version stable de la technologie Apache Airflow (3.1.8) et ses nouveautés.

Introduction & fondamentaux Airflow

• Rappels sur la data orchestration (ETL, reprise automatique, scaling)
• Présentation d’Apache Airflow : rôle, cas d’usage, avantages
• Historique et chronologie du projet
• Portabilité d’Airflow dans l’écosystème Big Data
• Pourquoi Airflow ? Orchestration à grande échelle, intégration avec outils tiers. Communauté & support

Installation & prise en main

• Installation classique d’Airflow
• Installation via Docker
• Installation et utilisation de Astro CLI :
  • Création de projet Airflow
  • Démarrage d’un environnement local
  • Avantages pour l’industrialisation
• Airflow UI & Airflow CLI :
  • Commandes essentielles (db init, db clean, dags backfill, tasks test).
  • Airflow API v2 (Airflow 3) : documentation, premiers appels, démonstration

Maîtriser les DAGS

• Concepts de base : DAG, Task, Operator, dépendances
• Créer un DAG :
  • Approche << classique » (contexte with DAG). Approche décorateurs (@dag, @task)
  • Focus sur les paramètres d’un DAG
• DAG scheduling :
  • start_date, schedule (cron, presets, timedelta). Data interval, état des tâches
• Catchup & Backfill :
  • Concepts, bonnes pratiques, idempotence. Backfill via CLI et via Airflow UI (Airflow 3)
• Pratique :  exercices de scheduling (unpause, catchup, backfill)

Scheduling avancé & data-aware

• Data-Aware Scheduling :
  • Notion d’Asset (dataset)
  • Dépendances orientées données entre tâches, assets et DAGS
  • Exemples : déclenchement sur disponibilité d’un fichier / d’une table
• Dataset scheduling mise en pratique (outlets, schedule)
• Event-Driven Scheduling (Airflow 3) :
• Déclenchement de DAGS via événements externes et message queues
• Autres modes de scheduling :
  • Trigger via API (Airflow REST API)
  • Scheduling par timedelta

Partage de données & templating

• XCom : principe, stockage, limites, bonnes pratiques
• Pratique : échange de données entre tâches via XCom. Jinja templating :
  • Variables de contexte (ds, data_interval_start, etc.)
  • Référentiel des templates Airflow

Organisation du code & gestion des erreurs

• Organisation du dossier dags et Impact sur les performances du DAG Processor
• Gestion des erreurs :
  • Stratégies DAG-level et Task-level
  • Notification (on_success, on_failure) et self-healing
• Pratique : factorisation du code, gestion d’erreurs avec handlers dédiés

Tests & CI/CD

• Pourquoi tester les DAGS et les tasks
• Outils et commandes
• Sanity checks : tests de base sur la validité des DAGS
• Tests unitaires de tasks

Concepts avancés de DAGS

• Task Groups : structuration visuelle et logique des DAGS
• Branching/branchement conditionnel
• Re-branchement du flux
• Trigger Rules : règles de déclenchement avancées, cas pratiques

Variables, configuration et environnements

• Variables Airflow :
  • Définition (UI, CLI, fichier JSON)
  • Utilisation dans les DAGS
• Gestion multi-environnements (dev, staging, prod) via fichiers de configuration
• Pratique mise à jour de DAGs producer/consumer avec variables de config

Nouveautés Airflow 3

• Architecture Airflow 2 vs Airflow 3
• Task SDK & Remote Execution : exécution distante, Edge Executor, isolation. Nouvelle UI : vues, performances, découplage via API REST
• DAG Versioning :
  • Limitations d’Airflow 2
  • Versioning automatique, changement structurel, snapshot par run.
• Task Approach vs Asset Approach :
  • Concepts, différences, tableau comparatif
  • Travaux pratiques Asset Approach

Connections, Pools & intégration

• Connections : principe, définition, utilisation depuis les DAGS
• Pools contrôle de la concurrence par ressource
• Pratique : DAG PostgreSQL (création de table, insertion, lecture)
• Providers externes :
  • Google, Amazon, Docker, Slack, PostgreSQL, etc.

Executors & scalabilité

• Rôle de l’Executor
• Types d’Executors : Sequential, Local (défaut Airflow 3), Celery, Kubernetes
• Contrôle de la concurrence
• CeleryExecutor :
  • Architecture, scalabilité horizontale, tolérance aux pannes
  • Mise en pratique avec docker-compose Airflow officiel

Sécurité, monitoring & logging

• Pilier sécurité : authentification, autorisation (RBAC), secrets, réseau, audit, logs
• Authentification (LDAP, OAuth2, SSO, backend d’auth)
• RBAC : rôles, permissions, bonnes pratiques.
• Secrets & connexions : Secrets Backend (Vault, AWS/GCP)
• Sécurité des DAGS, réseau et audit/logs
• Monitoring du cluster Airflow
• Système de logs : local, S3/GCS, ElasticSearch
• Stack ELK (Filebeat, Logstash, Elasticsearch, Kibana) pour les logs Airflow

Limites d’Airflow & intégration écosystème

• Limites d’Airflow
• Combinaisons : Airflow + Spark / Beam / Flink