- Un orchestrateur de workflows générique, horizontalement scalable, qui fournit un service de workflow entièrement géré (WAAS)
- Gestion de workflows à grande échelle, comme les pipelines de données et les pipelines d’entraînement de modèles de machine learning
- Supervision de l’ensemble du cycle de vie des workflows, y compris les tentatives de relance, les files d’attente et la distribution des tâches
- Prise en charge de packages de logique métier sous divers formats (images Docker, notebooks, scripts bash, SQL, Python, etc.)
- Prend en charge non seulement les DAG (Directed Acyclic Graph), mais aussi les workflows non acycliques et cycliques
- Inclut plusieurs patterns réutilisables, comme les boucles foreach, les sous-workflows et les branchements conditionnels
- Définitions d’orchestration flexibles et puissantes au format JSON
- Maintien de la cohérence des propriétés clés (auteur, informations sur le propriétaire, paramètres d’exécution)
- Création d’une nouvelle version à chaque modification de workflow, avec suivi et possibilité de retour arrière simplifiée
- Le service est utilisé par des milliers de personnes chez Netflix — data scientists, data engineers, ingénieurs machine learning, ingénieurs logiciels, créateurs de contenu, analystes métier, etc. — pour une grande variété de cas d’usage
- Le service lui-même a été présenté il y a deux ans, et il est cette fois publié en open source
- Prise en charge de nombreux cas d’usage de workflows, comme les pipelines ETL, les workflows ML et les pipelines de tests A/B
- Sa scalabilité horizontale permet de gérer un grand nombre de workflows ainsi qu’un grand nombre de tâches au sein de chaque workflow
- Des centaines de milliers de workflows et des millions de tâches sont planifiés chaque jour, avec une exploitation respectant des SLO stricts même lors des pics de trafic
- Netflix a réussi à migrer vers Maestro des millions de workflows existants en interne, sans interruption
- Le nombre de tâches exécutées a augmenté de 87,5 % au cours de l’année écoulée
- En moyenne, des centaines de milliers de tâches sont exécutées chaque jour, avec près de 2 millions de tâches terminées lors des journées les plus chargées
1 commentaires
L’IA a résumé le petit texte de présentation publié à l’occasion de sa mise en open source : Maestro : l’orchestrateur de workflows de Netflix
Mais il y a vraiment trop de choses qui s’appellent Maestro haha
Maestro - un noyau basé sur Rust compatible Linux
Maestro - un framework de test UI automatisé pour applications mobiles