Vérifions si Airflow est vraiment le meilleur choix pour mon cas d’usage

• Il existe tellement d’alternatives à Airflow qu’il faut vérifier avec certitude si Airflow est bien la meilleure solution pour mon cas d’usage, ou même si c’est réellement une solution valable
• Alternatives mentionnées dans cet article
  • Prefect
  • Dagster
  • Cadence
  • Temporal

[hmkim]

Il existe aussi cwl, wdl, nextflow, snakemake, etc.

[kbumsik]

Le problème, c’est qu’avant d’en faire l’expérience directe à une certaine échelle, il n’est pas facile de prévoir si Airflow est vraiment adapté à son usage.
Même pour un outil aussi connu, j’ai l’impression qu’il y a quelques pièges difficiles à anticiper à l’avance.

L’absence de déclenchement de DAGrun basé sur les événements, un développement local qui n’est pas simple (même si airflow standalone, apparu en 2.2, a un peu facilité les choses), une structure de DAG peu dynamique, le fait que si l’on ne comprend pas bien son fonctionnement interne on peut facilement mal utiliser les Variables sans recourir aux templates Jinja, etc.

Pour le prochain projet, j’aimerais bien essayer Dagster.