Ploomber - un framework open source pour créer rapidement des pipelines de données

• Développement avec Jupyter/VSCode/PyCharm, etc.

• Déploiement sur un serveur de production sans modification du code : Kubernetes, AWS Batch, Airflow, Kubeflow, Slurm, etc.

• Possibilité de refactoriser des notebooks existants en pipelines modulaires

Fonctionnalités principales

• Développement rapide à l’aide de YAML

• Offre de la flexibilité grâce à une puissante API Python

• Met automatiquement en cache les résultats précédents du pipeline et ne recalcule que ce qui a changé depuis l’exécution précédente

• Déploiement distribué via des scripts shell, ou avec Kubernetes, Airflow, AWS Batch, etc.

[japansea]

On ne peut sans doute pas rivaliser avec Kafka, non ?