Gestion des pipelines de données avec Apache Airflow
Cette formation sur Apache Airflow vous initiera aux bases et fonctionnalités avancées de l’orchestration de workflows. Vous apprendrez à installer Airflow, à créer et gérer des DAGs, et à utiliser les opérateurs et exécuteurs pour des workflows dynamiques, en mettant l’accent sur les bonnes pratiques d’échange de métadonnées et d’intégration avec des systèmes externes.
Objectif: maîtriser Airflow pour orchestrer et automatiser des workflows efficaces et sécurisés.
Public: data engineers, leads, architectes, managers tech
Pipelines de données avec Apache Airflow
Raphael
Lead Data Engineer, MLOps, DataOps
Durée
3 jours
Prix
2000 €
1500 € HT
Prochaine session: 25-27 nov.
🔎 Plongez dans l’univers d’Apache Airflow, en découvrant les bases et les fonctionnalités avancées pour orchestrer vos workflows de données.
⏱ Apprenez à installer Airflow, à configurer des environnements et à créer des DAGs efficaces avec des opérateurs et tâches, tout en maîtrisant l’échange de métadonnées avec XCOMs.
💡 Intégrez Airflow avec des systèmes externes comme Kubernetes, et appliquez les bonnes pratiques en matière de sécurité, contrôle d’accès, et journalisation pour des workflows robustes.
🔧 Explorez des techniques avancées pour optimiser les performances, surveiller l’activité, et administrer Airflow dans des environnements complexes, avec des exercices pratiques pour renforcer vos compétences en gestion et automatisation des pipelines de données.
