Leçons tirées de l’exploitation d’Airflow à grande échelle

Shopify l’utilise pour l’extraction de données, l’entraînement de modèles de machine learning, la maintenance de tables Apache Iceberg, la modélisation de données basée sur DBT, etc.

1. Lors de l’utilisation d’un stockage cloud, l’accès aux fichiers peut être lent
   → Amélioration des performances avec GCS + NFS
2. Quand le volume des métadonnées augmente, les opérations d’Airflow peuvent ralentir
   → Utilisation d’une politique de rétention fixée à 28 jours
3. Il peut être difficile de relier les DAG aux utilisateurs et aux équipes
   → Utilisation d’un dépôt centralisé de métadonnées
4. Les auteurs de DAG disposent de nombreux privilèges
   → Utilisation d’une policy de DAG
5. Il est difficile de garantir un équilibrage de charge cohérent
   → Créer des plannings standardisés pour réduire les pics de trafic
6. Il existe plusieurs points de contention sur les ressources
   → Utilisation de Pools, Priority Weight, Celerey Queue et Isolated Workers