HyperAgents : le framework d’agents auto-améliorants de Meta AI

• Système d’agents IA auto-référentiel qui améliore de lui-même ses propres processus d’apprentissage et de résolution de problèmes afin de réduire la dépendance à l’ingénierie humaine, en dépassant les limites des mécanismes méta fixes des approches classiques d’auto-amélioration récursive
• Architecture qui intègre l’agent de tâche (exécution de l’objectif) et l’agent méta (modification de lui-même et de l’agent de tâche) dans un seul programme éditable
• Alors que le Darwin Gödel Machine (DGM) ne pouvait s’auto-améliorer que dans le domaine du code, HyperAgents s’étend à de multiples domaines comme le code, l’évaluation d’articles, la robotique et la correction de mathématiques
• Le fait que la procédure de modification au niveau méta soit elle-même éditable constitue le point de différenciation central : une auto-modification métacognitive qui améliore aussi le mécanisme d’amélioration lui-même
• Des expériences montrent que les améliorations au niveau méta se transfèrent entre domaines et s’accumulent d’une exécution à l’autre, ce qui met en évidence le potentiel d’un système d’IA généraliste à auto-accélération

---

Limites des systèmes d’auto-amélioration existants

• Les systèmes d’IA auto-améliorants visent à améliorer automatiquement les processus mêmes d’apprentissage et de résolution de problèmes afin de réduire la dépendance à l’ingénierie humaine
• Les approches existantes d’auto-amélioration récursive reposent sur des mécanismes méta fixes et conçus manuellement, ce qui impose une limite fondamentale à la vitesse à laquelle le système peut s’améliorer

Darwin Gödel Machine (DGM) et les contraintes du domaine du code

• DGM (Zhang et al., 2025b) est un système qui a démontré la possibilité d’une auto-amélioration ouverte dans le domaine du code
• Il part d’un agent unique de codage, puis génère et évalue de façon répétée des variantes auto-modifiées, tout en enrichissant une archive de tremplins pour les améliorations futures
• Comme l’évaluation et l’auto-modification relèvent toutes deux de tâches de codage, l’amélioration des capacités de programmation se traduit directement par une amélioration des capacités d’auto-amélioration
• Cependant, cet alignement spécifique au domaine (domain-specific alignment) ne s’applique généralement pas en dehors du code

Structure du framework HyperAgents

• HyperAgents est un agent auto-référentiel (self-referential agent) qui intègre deux composants dans un programme unique modifiable
  • Agent de tâche (task agent) : chargé de résoudre la tâche visée
  • Agent méta (meta agent) : chargé de se modifier lui-même ainsi que l’agent de tâche
• Point clé : la procédure de modification au niveau méta est elle-même modifiable, ce qui met en œuvre une auto-modification métacognitive (metacognitive self-modification)
  • Il devient possible d’améliorer non seulement le comportement de résolution de tâche, mais aussi le mécanisme même qui génère les améliorations futures

DGM-Hyperagents (DGM-H)

• Le DGM est étendu et concrétisé sous la forme de DGM-Hyperagents (DGM-H)
• En autorisant l’évolution de la procédure d’amélioration elle-même, le système supprime l’hypothèse d’alignement spécifique au domaine entre performance sur la tâche et capacité d’auto-modification
• Il ouvre théoriquement la possibilité de prendre en charge une progression auto-accélérée sur toute tâche calculable

Résultats expérimentaux et étendue des domaines

• Des expériences ont été menées dans divers domaines : code, évaluation d’articles, conception de récompenses en robotique, et notation de solutions mathématiques de niveau olympiade
• DGM-H montre des améliorations continues de performance au fil du temps
• Il obtient des performances supérieures aux baselines sans auto-amélioration ni exploration ouverte, ainsi qu’au DGM existant

Transfert et accumulation des améliorations au niveau méta

• Il a été constaté que DGM-H améliore le processus lui-même qui sert à générer de nouveaux agents
  • Exemples : émergence d’améliorations méta comme la mémoire persistante (persistent memory) et le suivi des performances (performance tracking)
• Ces améliorations au niveau méta peuvent se transférer entre domaines (transfer across domains) et s’accumuler d’une exécution à l’autre (accumulate across runs)

Considérations de sécurité

• Toutes les expériences ont été menées avec des mesures préventives de sécurité, notamment le sandboxing et la supervision humaine
• L’étude inclut une discussion sur la signification de la sécurité dans le contexte des systèmes auto-améliorants, ainsi que sur les implications plus larges des systèmes d’auto-amélioration

Portée

• DGM-Hyperagents ne se contente pas de chercher de meilleures solutions : il montre la possibilité d’un système d’IA ouvert qui améliore en continu sa propre manière de s’améliorer