A propos du cours
Cette formation sur Apache Airflow vous guide à travers les fondamentaux et les fonctionnalités avancées de cet outil puissant d'orchestration de workflows. Vous commencerez par découvrir l'architecture d'Airflow, son installation et la configuration de l'environnement de développement, tout en explorant l'interface utilisateur, la ligne de commande (CLI) et l'API HTTP REST. Vous apprendrez à créer et gérer des DAGs (Directed Acyclic Graphs), à utiliser les opérateurs, les tâches, et à configurer les exécuteurs pour des workflows basiques et dynamiques, incluant l'échange de métadonnées avec XCOMs.
La formation vous emmènera également dans l'intégration d'Airflow avec des systèmes externes et des plateformes comme Kubernetes, tout en mettant l'accent sur la sécurité, le contrôle d'accès, et la journalisation. Vous explorerez des techniques avancées pour optimiser les performances, surveiller l'activité, et administrer Airflow dans des environnements complexes. Avec des exercices pratiques et des cas d'utilisation réels, cette formation vous donnera les compétences nécessaires pour tirer pleinement parti d'Airflow dans la gestion de vos pipelines de données et l'automatisation des workflows, tout en assurant la résilience, la sécurité et l'efficacité de vos processus.
L'expert
Raphael est lead data engineer, ML et Data Ops. Il a travaillé chez Ankorstore, leboncoin ou encore ManoMano. Il est contributeur actif au projet open source Apache Airflow, et forme sur cette technologie ainsi que sur Kafka.