Mandala - Sauvegarder automatiquement, interroger et versionner les calculs Python

• Un framework créé pour automatiser le suivi des expériences de ML
• Contrairement aux autres outils de suivi d’expériences, il fait de la persistance, des requêtes et de la gestion de versions une partie ordinaire du langage de programmation lui-même
• L’objectif est de permettre d’écrire du code de calcul expressif sans avoir à penser à la persistance, comme dans une session interactive, tout en bénéficiant ensuite de tous les avantages d’un stockage versionné et interrogeable
• Il supprime l’effort et le surcoût de code nécessaires au suivi des expériences de ML (et au-delà) à l’aide de deux outils génériques :
  1. Le décorateur @op :
  • capture les entrées, les sorties et le code (+ dépendances) des appels de fonctions Python
  • réutilise automatiquement les résultats passés et ne recalcule pas deux fois le même appel
  • conçu pour être composable en programmes persistants de bout en bout, permettant un développement itératif efficace en Python standard sans avoir à se soucier du backend de stockage
  2. La structure de données ComputationFrame :
  • organise automatiquement l’exécution de code impératif en un graphe de calcul de haut niveau de variables et d’opérations. Détecte des motifs comme les boucles de rétroaction, les branchements/fusions et les agrégations/indexations
  • interroge les relations entre variables en extrayant un dataframe dont les colonnes sont les variables et opérations du graphe, et dont chaque ligne contient les valeurs/appels d’une exécution (éventuellement partielle) du graphe
  • automatise l’exploration et les opérations de haut niveau sur le « web » hétérogène des appels @op