ARC-AGI sans préentraînement

Qu’est-ce qu’ARC-AGI ?

• ARC-AGI est un benchmark d’intelligence artificielle introduit en 2019, conçu pour tester la capacité d’un système à inférer et généraliser des règles abstraites à partir d’un minimum d’exemples.
• Le jeu de données est composé d’énigmes similaires à des tests de QI, chaque énigme fournissant plusieurs images d’exemple montrant la règle de base ainsi qu’une image de test à laquelle cette règle doit être appliquée.
• L’objectif de la résolution d’ARC-AGI est de mettre en lumière les défis actuels qui freinent les progrès de l’intelligence artificielle.

Notre approche de résolution

• Nous proposons que la compression d’information sans perte puisse constituer un cadre efficace pour résoudre les énigmes ARC-AGI.
• Une compression plus efficace de l’énigme est corrélée à une solution plus précise.
• CompressARC utilise un réseau de neurones comme décodeur, et l’algorithme d’encodage obtient la représentation la plus compressée de l’énigme en optimisant les paramètres du décodeur et la distribution d’entrée, plutôt qu’en s’appuyant sur un autre réseau.

Observation de l’apprentissage du réseau : coloriage de boîtes

• Solution humaine : on reconnaît que l’entrée est divisée en boîtes et que celles-ci sont conservées puis coloriées dans la sortie.
• Solution de CompressARC : à chaque étape de l’apprentissage, le réseau comprend et applique progressivement la règle de l’énigme.

Comment notre approche de résolution est dérivée

• La compression d’information sans perte consiste à représenter l’information avec le moins de bits possible tout en permettant de la reconstruire à partir de cette représentation binaire.
• Nous cherchons à déterminer quelle réponse serait décompressée par le système qui compresse le mieux le jeu de données ARC-AGI.

L’aide des réseaux de neurones

• Au lieu de parcourir l’espace des programmes, nous choisissons un programme et déléguons à l’espace d’entrée sa diversité.
• Nous écrivons un programme qui exécute la passe avant d’un réseau de neurones, puis nous effectuons la recherche dans l’espace d’entrée.

Architecture

• Nous concevons une architecture de réseau de neurones pour décoder les énigmes ARC-AGI.
• La caractéristique la plus importante est l’équivariance, par exemple le respect de règles de symétrie.

Résultats

• CompressARC atteint 34,75 % sur l’ensemble d’entraînement et 20 % sur l’ensemble d’évaluation.

Énigmes qui peuvent et ne peuvent pas être résolues

• CompressARC tente de déduire autant d’éléments que possible à l’aide de certaines capacités.
• Par exemple, il peut étendre des motifs sur de courtes distances, mais pas sur de longues distances.

Coloriage de boîtes : étude de cas

• Pendant l’entraînement, l’erreur de reconstruction diminue très rapidement et reste en moyenne faible.
• Afin de comprendre comment CompressARC résout l’énigme, nous analysons la représentation stockée dans z.

Comment améliorer notre travail

• Au moment de la sortie de CompressARC, plusieurs idées avaient été envisagées ou non.
• Nous pensons que certaines idées restent toujours valables, comme la compression conjointe via le partage des poids entre les énigmes.