Une stack d’infrastructure qui permet, après un développement rapide en local, d’exécuter à grande échelle dans le cloud sans modifier le code. Elle permet de créer des snapshots du code, des données et des dépendances sur lesquels on travaillait dans un notebook, puis de les enregistrer sur S3 ou sur le système de fichiers afin de pouvoir reprendre un workflow ou reproduire des résultats passés.
2 commentaires
Pour comprendre pourquoi c’est Metaflow, vous pouvez consulter l’explication illustrée ici : https://docs.metaflow.org/introduction/why-metaflow
Développé conjointement par Netflix et AWS, il est profondément intégré à leur écosystème.
En local, les données sont enregistrées sur disque et on peut développer rapidement et confortablement en installant un notebook.
Une fois déployé sur AWS, il devient possible d’exécuter des traitements à grande échelle à l’aide des services ci-dessous.
Metadata - RDS ou Metaflow Metadata Service https://github.com/Netflix/metaflow-service
Datastore - AWS S3
Compute - AWS Batch https://aws.amazon.com/batch/
Notebook - Sagemaker Notebook https://aws.amazon.com/sagemaker/
Scheduling - Step Functions https://aws.amazon.com/step-functions/
Large-Scale ML - Sagemaker Models https://aws.amazon.com/sagemaker/
Peu importe la bibliothèque de machine learning / data science utilisée en pratique — PyTorch, Tensorflow ou Scikit-Learn — tout peut être intégré.