Résoudre ARC-AGI sans pré-entraînement

• Sur des problèmes comme ARC-AGI, où il faut trouver une règle à partir de peu d’exemples, CompressARC trouve des solutions uniquement par apprentissage au moment de l’inférence pour chaque puzzle, sans pré-entraînement, jeu de données externe ni recherche à grande échelle.
• L’idée centrale est une expérience montrant qu’un comportement intelligent peut émerger si l’on optimise un objectif de compression d’information sans perte afin que la représentation du puzzle, réponse comprise, devienne plus courte.
• Sur une RTX 4070, avec environ 20 minutes par puzzle, la méthode atteint 34,75 % sur l’ensemble d’entraînement et 20 % sur l’ensemble d’évaluation ; elle se distingue par son approche neuronale qui n’utilise qu’un seul puzzle cible comme données d’apprentissage.
• L’architecture est conçue autour de l’équivariance à l’ordre des exemples, aux permutations de couleurs et aux rotations/réflexions, et utilise une représentation multitensor regroupant des tenseurs de plusieurs rangs.
• Elle est performante pour les mappings couleur-procédure, le remplissage, le rognage, la connexion de points et les déplacements courts, mais le comptage, l’extension de motifs à longue distance, la rotation, la copie, le redimensionnement et la planification d’agent restent des goulots d’étranglement.

---

Expérimenter la résolution d’ARC-AGI par la seule compression

• La question centrale est de savoir si la compression d’information sans perte suffit à produire un comportement intelligent.
• CompressARC est une méthode appliquée aux puzzles ARC-AGI qui fonctionne uniquement avec une fonction objectif fondée sur la compression.
• Elle impose trois contraintes :
  • Pas de pré-entraînement : le modèle est initialisé aléatoirement et entraîné au moment de l’inférence.
  • Pas de jeu de données : un modèle n’apprend qu’un seul puzzle ARC-AGI cible et produit une seule réponse.
  • Pas de recherche : dans la plupart des sens du terme, elle n’utilise pas de recherche, seulement la descente de gradient.
• Les résultats sont de 34,75 % sur l’ensemble d’entraînement et 20 % sur l’ensemble d’évaluation, chaque puzzle prenant environ 20 minutes sur une RTX 4070.
• La méthode est présentée comme la première approche neuronale pour ARC-AGI qui n’utilise que le puzzle cible comme données d’apprentissage.

Formulation du problème ARC-AGI

• ARC-AGI est un benchmark d’IA introduit en 2019, qui teste la capacité à inférer et généraliser des règles abstraites à partir de peu d’exemples.
• Chaque puzzle fournit plusieurs exemples entrée-sortie et une entrée de test ; le système doit prédire la grille de sortie de test.
• Deux tentatives sont autorisées par puzzle, et si l’une des deux est correcte, le score est de 1 point.
• Le système peut modifier la taille de la grille de sortie et choisir la couleur de chaque pixel.
• Les puzzles sont conçus pour être raisonnablement solvables par des humains, mais plus difficiles pour les machines.
  • Un humain moyen résout 76,2 % de l’ensemble d’entraînement.
  • Un expert humain en résout 98,5 %.
• Les 400 puzzles d’entraînement sont plus faciles que les autres et servent à apprendre les motifs suivants :
  • Objectalité : les objets n’apparaissent ni ne disparaissent sans raison.
  • Orientation vers un but : certains objets se comportent comme des agents dotés d’intention.
  • Nombres et comptage : nombre d’objets, alignement, comparaison, additions et soustractions simples sont utilisés.
  • Géométrie et topologie : réflexion, rotation, translation, transformation, combinaison, répétition et différences de distance entre formes sont incluses.
• Le récent concours Kaggle d’ARC Prize proposait jusqu’à plus d’un million de dollars de prix, et le prix principal était attribué à une méthode atteignant 85 % sur 100 problèmes privés avec 12 heures de calcul dans un environnement limité.

Fonctionnement de CompressARC

• Dans CompressARC, une représentation compressible en moins de bits est associée à une solution plus correcte du puzzle.
• Le système cherche une représentation compressée qui transforme un puzzle incomplet en puzzle complet ; en décompressant cette représentation, le puzzle et sa réponse doivent être reconstruits.
• Le réseau neuronal joue le rôle de décodeur.
  • Il n’y a pas de réseau neuronal encodeur séparé.
  • L’encodage est réalisé par descente de gradient en entraînant le décodeur au moment de l’inférence.
  • Les poids optimisés et les paramètres de distribution d’entrée jouent le rôle de représentation compressée en bits contenant le puzzle et sa réponse.
• En termes standard de machine learning, la procédure est la suivante :
  • Recevoir un puzzle ARC-AGI.
  • Construire un réseau neuronal f adapté au nombre d’exemples du puzzle et au nombre de couleurs observées.
  • Prendre en entrée un échantillon normal aléatoire z ~ N(μ, Σ) et produire les logits de couleur pour chaque pixel de toutes les grilles.
  • Minimiser la somme des entropies croisées sur les grilles connues, en ignorant la grille de réponse.
  • Ajouter une pénalité de divergence KL pour que N(μ, Σ) reste proche de N(0,1).
  • Enregistrer les grilles de réponse générées pendant l’entraînement et choisir comme prédiction finale la réponse la plus fréquente.
• fθ est conçu pour être équivariant aux augmentations générales comme le changement d’ordre des paires entrée-sortie, les permutations de couleurs et les rotations/réflexions spatiales.

Dérivation du point de vue de la compression

• La compression sans perte consiste à représenter l’information avec le moins de bits possible tout en reconstruisant exactement l’original à partir de cette représentation binaire.
• Dans ARC-AGI, il faudrait en principe considérer l’ensemble des paires puzzle-réponse comme un symbole à compresser, mais en pratique la réponse n’est pas disponible en entrée de l’encodeur et la distribution de génération des puzzles est inconnue.
• On suppose qu’il existe un système de compression efficace en bits et praticable pour le jeu de données ARC-AGI.
• Même sans connaître la distribution p, on peut imaginer un compresseur universel qui minimise la longueur len(f)+len(s) d’un programme f et d’une entrée s.
  • Le décodeur exécute f(s) pour reconstruire l’original.
  • D’après la théorie algorithmique de l’information, il ne peut être moins efficace que le compresseur d’origine que de la longueur de f.
  • En pratique, un encodeur qui explore l’espace des programmes n’est pas utilisable.
• CompressARC choisit un forward pass de réseau neuronal comme programme fixe au lieu d’explorer l’espace des programmes.
  • s est composé des poids θ, de l’entrée z et de la correction de sortie ε.
  • La longueur de code de θ et z est calculée du point de vue du Relative Entropy Coding (REC), celle de ε du point de vue de l’arithmetic coding.
  • La longueur du code de correction de sortie devient égale à l’entropie croisée totale sur les grilles connues.
  • La longueur de code de z devient KL(pz || qz), avec qz = N(0,I).
• La longueur totale du code prend la même forme qu’une perte de VAE :
  • erreur de reconstruction ;
  • KL sur z ;
  • régularisation du décodeur.
• L’implémentation de CompressARC correspond à cette dérivation, avec des modifications liées à une partie de la régularisation, à l’équivariance et à l’indépendance entre puzzles.

Architecture : multitensor et équivariance

• La caractéristique la plus importante de l’architecture est l’équivariance.
  • Si l’entrée z est transformée, le puzzle ARC-AGI en sortie doit être transformé de la même manière.
  • Les exemples sont la réorganisation des paires entrée-sortie, le mélange des couleurs et le retournement, la rotation ou la réflexion des grilles.
• La conception consiste d’abord à créer une architecture de base entièrement symétrique, puis à ajouter des couches asymétriques qui apportent les capacités non équivariantes nécessaires afin de casser une à une les symétries superflues.
• Les données internes circulent sous un format appelé multitensor.
  • Il s’agit d’un regroupement de tenseurs de différents rangs et shapes.
  • Les dimensions sont constituées d’un sous-ensemble de [n_examples, n_colors, n_directions, height, width, n_channels].
  • La dimension channel est toujours conservée.
  • Des règles réduisent à 18 le nombre de tenseurs valides dans un multitensor.
• Un puzzle peut être représenté par un tenseur [examples, colors, height, width, channel].
  • channel sert à sélectionner la grille d’entrée ou de sortie.
  • width et height indiquent la position des pixels.
  • La dimension color contient la représentation one-hot de la couleur des pixels.
• L’architecture globale suit le flux suivant :
  • départ depuis les paramètres de distribution de z ;
  • Decoding Layer ;
  • répétition 4 fois de Multitensor Communication, Softmax, Directional Cummax, Directional Shift, Directional Communication, Nonlinear, Normalization, etc. ;
  • sortie d’une distribution de puzzles ARC-AGI via Linear Heads.

Résultats de performance

• L’entraînement est effectué avec Adam pendant 2000 iterations.
  • Le learning rate est 0.01.
  • β1 = 0.5, β2 = 0.9.
• Résultats sur l’ensemble d’entraînement :
  • 100 iteration : Pass@2 2,25 %
  • 500 iteration : Pass@2 27,5 %
  • 1000 iteration : Pass@2 31,75 %
  • 2000 iteration : Pass@2 34,75 %
  • Pass@1000 à 2000 iteration : 52,75 %
• Résultats sur l’ensemble d’évaluation :
  • 100 iteration : Pass@2 1,25 %
  • 500 iteration : Pass@2 15 %
  • 1000 iteration : Pass@2 19,25 %
  • 2000 iteration : Pass@2 20 %
  • Pass@1000 à 2000 iteration : 33,75 %
• Comme la notation ARC-AGI autorise deux tentatives, le résultat principal du texte est mesuré en Pass@2.

Puzzles résolubles et puzzles difficiles

• CompressARC identifie les règles autant que ses capacités le permettent, mais se heurte à des goulots d’étranglement pour les capacités que l’architecture ne possède pas.
• Exemples de tâches possibles :
  • attribuer des couleurs individuelles à des procédures individuelles ;
  • remplissage ;
  • rognage ;
  • connexion de points, y compris sur des diagonales à 45 degrés ;
  • détection d’une même couleur ;
  • identification de l’adjacence de pixels ;
  • attribution de couleurs par exemple ;
  • identification de parties de formes ;
  • déplacement sur de courtes distances.
• Exemples de tâches clairement difficiles :
  • établir une correspondance entre deux couleurs ;
  • répéter plusieurs fois de suite la même opération ;
  • déplacement, rotation, réflexion, redimensionnement, duplication d’image ;
  • détection de propriétés topologiques comme la connexité ;
  • planification et simulation du comportement d’un agent ;
  • extension de motifs à longue distance.
• Dans le puzzle d’entraînement 28e73c20, il faut étendre un motif depuis les bords vers le centre ; CompressARC effectue l’extension sur de courtes distances mais s’appuie sur des suppositions près du centre.

Exemple : Color the Boxes

• Une solution humaine consiste à comprendre que l’entrée est divisée en boîtes, et que ces boîtes sont colorées en sortie.
  • Les coins sont toujours noirs.
  • Le centre est toujours magenta.
  • Les boîtes situées sur les côtés reçoivent une couleur selon leur direction : rouge en haut, bleu en bas, vert à droite, jaune à gauche.
• La progression de l’apprentissage de CompressARC varie par étapes.
  • 50 step : il reflète le fait que les lignes et colonnes cyan de l’entrée correspondent aussi dans la sortie.
  • 150 step : il produit une sortie où les pixels proches ont des couleurs similaires.
  • 200 step : il imite de plus grands blocs de couleur délimités par les frontières cyan et des blocs noirs aux coins.
  • 350 step : il prédit globalement correctement la couleur des boîtes selon leur direction par rapport au centre.
  • 1500 step : la sortie est presque affinée, mais des erreurs rares subsistent dans les échantillons.
• L’analyse de la distribution z apprise montre qu’elle code une table de correspondance couleur-direction ainsi que les positions des lignes et colonnes de séparation.
• Seuls quatre tenseurs conservent de l’information :
  • (examples, height, channel) : contient la position des lignes cyan de chaque exemple ;
  • (examples, width, channel) : contient la position des colonnes cyan de chaque exemple ;
  • (direction, color, channel) : contient la correspondance entre directions et couleurs ;
  • (color, channel) : distingue les rôles particuliers du magenta et du cyan.

Autres exemples et analyse des représentations

• Puzzle Bounding Box 6d75e8bb

  • La solution humaine consiste à dessiner la plus petite boîte cyan entourant la forme rouge.
  • À 100 step, CompressARC montre des traces d’identification d’une bounding box commune ; à 150 step, il trouve la réponse puis l’affine au fil de l’entraînement.
  • Les principaux tenseurs conservés sont (examples, height, channel), (examples, width, channel) et (color, channel).
  • Les tenseurs de lignes et colonnes indiquent les lignes et colonnes contenant beaucoup de pixels cyan, mais on ne sait pas clairement comment les positions des frontières sont déterminées.

• Puzzle Center Cross 41e4d17e

  • Il faut tracer des rayons magenta vers le haut, le bas, la gauche et la droite depuis le centre de la bulle bleue de l’entrée, et la couleur de la bulle doit recouvrir les rayons.
  • CompressARC copie l’entrée, puis des lignes et colonnes magenta apparaissent et se stabilisent progressivement à la bonne position.
  • On n’observe pas l’erreur consistant à tracer à tort les rayons par-dessus la bulle, comme dans une résolution humaine.
  • Les tenseurs conservés sont (examples, height, width, channel) et (color, channel).
  • (examples, height, width, channel) code le centre de la bulle.

Pistes d’amélioration

• Au lieu de compresser séparément chaque puzzle, compresser l’ensemble du dataset ARC-AGI pourrait permettre de partager le calcul entre puzzles et d’obtenir un meilleur biais inductif.
  • Une méthode envisagée consiste à utiliser les mêmes poids de réseau pour tous les puzzles et à appliquer une perturbation limitée propre à chaque puzzle.
  • Une approche par hypernetwork est également proposée : apprendre un embedding de haute dimension pour chaque puzzle, puis apprendre un mapping linéaire de cet embedding vers les poids du réseau.
  • Cette direction n’a pas été essayée, car elle pourrait ralentir le rythme d’itération de la recherche.
• Des couches de type convolution pourraient être utiles pour les tâches de copie de formes.
  • Si une grille stocke la forme et une autre indique la position de copie, une convolution peut produire le résultat copié.
  • Les convolutions classiques amplifiaient le bruit plus fortement que le signal.
  • La tropical convolution fonctionnait bien sur des puzzles jouets, mais pas suffisamment sur les puzzles d’entraînement ARC-AGI.
• Une méthode avec KL floor est aussi envisagée pour atténuer le posterior collapse.
  • Il a été observé que lorsque le KL d’un tenseur important tombe à 0, il ne parvient plus à se rétablir.
  • Maintenir le KL au-dessus de 0 pendant un certain temps peut apprendre au réseau à utiliser cette information.
  • L’implémentation a été faite, mais aucun cas de rétablissement de tenseur n’a été observé ; il faudrait concevoir différemment le planning du KL floor.
• La régularisation n’est pas utilisée dans l’implémentation.
  • Dans la formulation du problème, elle mesure la complexité de f et fait partie de la dérivation de CompressARC.
  • Son exclusion de l’implémentation est jugée assez téméraire.

Travaux liés et positionnement de recherche

• L’idée d’une équivalence entre compression et intelligence s’inspire du Hutter Prize.
  • Le Hutter Prize récompense le système qui compresse le mieux un fichier texte de Wikipedia, en reliant capacité de compression d’information et intelligence.
• Le contexte théorique inclut Solomonoff Induction, Kolmogorov Complexity et Minimum Description Length.
• Sur le plan de la théorie de l’information, le Relative Entropy Coding est central.
  • L’idée est qu’un algorithme de compression peut être construit si l’on peut borner la divergence KL, tout en abstrahant le problème de l’implémentation réelle du code binaire.
• Du point de vue des VAE, le décodeur joue le rôle d’algorithme de décompression.
  • Une neural Turing machine aux capacités plus générales pourrait aussi être envisagée, mais comme elle n’est pas adaptée à l’optimisation par descente de gradient, l’approche VAE est utilisée.
  • La repondération de la perte de reconstruction façon beta-VAE fonctionne bien dans ce cas.
• Les méthodes ARC-AGI existantes utilisent principalement des LLM, de l’augmentation de données, des jeux de données alternatifs, de l’apprentissage au moment du test et de la recherche de programmes fondée sur des langages spécifiques au domaine.
• CompressARC met en avant l’utilisation du deep learning sans pré-entraînement externe ni recherche à grande échelle.
• Le code du projet est publié sur GitHub.

[GN⁺]

Avis sur Hacker News

• Le préentraînement à grande échelle semble aller à l’encontre de l’idée de généralité
  Si l’on a créé une machine générale capable de synthétiser un programme qui, à partir de seulement 3 exemples, prédit le 4e, alors on a en pratique résolu la synthèse d’oracle
  À l’inverse, si l’on entraîne un réseau sur l’ensemble des connaissances humaines, y compris la conception des puzzles, qu’on l’affine sur 99 % du jeu de données, puis qu’on lui permet plusieurs tentatives sur le dernier 1 %, cela ressemble plutôt à un compresseur coûteux qui compresse la psychologie de l’auteur du test

  • Cela révèle une vision assez naïve de la connaissance et de la compréhension
    Elle suppose qu’il existe un domaine platonicien de logique et de raison auquel une AGI n’aurait qu’à se connecter, alors que sans contexte il ne peut y avoir ni sens, ni inférence, ni logique
    Pour reconnaître des motifs de formes, il faut le concept de forme, ce qui présuppose des concepts de relations spatiales, qui présupposent à leur tour des concepts d’espace 2D ou 3D
    Si ces choses paraissent évidentes et implicites, c’est parce qu’elles sont profondément ancrées dans l’environnement que l’esprit humain a évolué pendant des centaines de millions d’années à interpréter, et dans celui qu’il a consommé et traité pendant des dizaines d’années
    Le vrai test de l’AGI est sa capacité à assimiler des informations différentes dans une vision du monde cohérente, et le préentraînement fait en réalité ce travail
    Même une intelligence dotée d’une telle capacité devra très probablement avoir des hypothèses structurelles « préchargées » sur le monde dans lequel elle se trouvera. Un peu comme des régions du cerveau spécialisées dans les relations spatiales, le langage et l’interprétation sensorielle
  • Si une machine peut décider elle-même comment apprendre lorsqu’elle rencontre un type de problème inédit, c’est-à-dire déterminer comment ajuster ses poids, je ne pense pas que cela aille à l’encontre de l’idée d’intelligence générale
    Les humains aussi, lorsqu’ils veulent devenir meilleurs dans quelque chose, trouvent comment s’entraîner à cette tâche et apprennent d’une façon qui les fait effectivement progresser
  • Exact. C’est aussi là que se trouve le problème de nombreux paradigmes actuels, qui ne permettent pas de véritable généralisation
    C’est pourquoi certains pensent qu’il n’y aura pas d’AGI avant un moment : https://www.lycee.ai/blog/why-no-agi-openai
  • Je pense que l’essentiel de l’apprentissage humain vient de plusieurs années d’entrées sensorielles
    Je ne vois pas vraiment pourquoi on devrait s’attendre à ce qu’une machine généralise bien sans connaissances de fond
  • ARC est équivalent à une distribution sur des quadruplets d’images, et sans distribution a priori, même avec les trois premières images, la dernière suit une distribution uniforme

• Cela me rappelle le podcast Lex Fridman avec Marcus Hutter
  Joshua Bach a lui aussi défini l’intelligence comme la capacité à modéliser précisément la réalité, et je me demande si la compression sans perte est en elle-même de l’intelligence, ou plutôt le modèle optimalement ajusté. Y a-t-il une différence entre les deux ?
  https://www.youtube.com/watch?v=E1AxVXt2Gv4

  • À noter que François Chollet, créateur d’ARC-AGI, a affirmé dans le podcast Lex Fridman en 2020 que l’intelligence n’est pas de la compression : https://youtu.be/-V-vOXLyKGw
  • L’intelligence est la capacité à trouver un modèle simple qui prédit une réalité complexe avec une grande précision et une faible latence
    Il faut donc considérer quatre axes : simplicité, précision, latence et complexité de la réalité ; l’intelligence artificielle occupera une certaine région de cet espace
    En fait, il existe un test simple pour distinguer l’intelligence : être capable de lire le code d’une fonction C et de dire comment une modification de l’entrée affecte la sortie
    Avec des algorithmes complexes, il faut construire un modèle interne. Sinon, comment exécuter mentalement qsort sur un million d’éléments ?
    On peut distinguer de la même manière un étudiant qui fait semblant de comprendre d’un étudiant qui comprend réellement
    Un test plus difficile consiste à faire l’inverse : produire un algorithme à partir de seulement quelques exemples d’entrées-sorties
  • Pour faire rapidement le lien sans avoir regardé tout le podcast, la position de Hutter s’exprime sous la forme du Hutter Prize[1] et, à certains égards, ses objectifs sont très proches de ceux d’ARC-AGI, mais il considère la compression elle-même comme un repère sur la voie de l’intelligence
    [1] http://prize.hutter1.net/

• J’essaie d’en dégager l’essence, mais elle semble masquée par des détails non essentiels comme le choix d’une méthode de compression particulière ou d’une distribution a priori
  L’innovation clé me semble être d’avoir construit un « modèle » optimisable par descente de gradient, dont l’optimum devient le modèle le plus « simple » qui mémorise la relation entrée-sortie
  Ici, la « simplicité » signifie concrètement « compressible efficacement », mais plus généralement cela revient sans doute à dire que la complexité du modèle est aussi faible que possible
  Cela contraste nettement avec le machine learning standard. D’habitude, on choisit d’abord une architecture de modèle et plusieurs paramètres de complexité pour fixer un budget de complexité, puis on entraîne sur les données afin de trouver une solution qui mémorise bien la relation entrée-sortie
  Cette nouvelle méthode inverse le machine learning. Elle continue de mémoriser les paires entrée-sortie, mais optimise pour réduire autant que possible la complexité du modèle
  Le fait de pouvoir généraliser avec seulement deux exemples d’entraînement est vraiment étonnant, et me semble indiquer fortement une bonne direction pour traiter la généralisation
  Les auteurs sont arrivés à cette structure par la théorie de l’information, mais je ne sais pas si c’est là l’essentiel
  Le point clé ressemble plutôt à la prise de conscience qu’au lieu de chercher le meilleur modèle avec un budget de complexité fixe, on peut chercher le modèle de complexité minimale possible

  • L’idée de minimiser la complexité n’est pas aussi nouvelle qu’elle en a l’air
    On ajoute couramment un terme de régularisation à la fonction de perte d’une optimisation, et cette régularisation peut souvent être interprétée comme une pénalité sur la complexité
    Grâce à la dualité, on peut voir le même objectif de plusieurs façons : minimiser une somme pondérée de l’erreur sur les données et de la complexité, minimiser la complexité tout en maintenant l’erreur sur les données sous une limite, ou minimiser l’erreur sur les données tout en maintenant la complexité sous une limite
    Cette régularisation classique semble être passée de mode récemment
    Je ne pense pas qu’elle joue un grand rôle dans la plupart des architectures Transformer, mais il serait intéressant qu’elle revienne sous une forme ou une autre
    À part cela, cette approche comporte tellement d’éléments nouveaux qu’il est difficile de distinguer ce qui produit réellement les performances
    Par exemple, l’architecture du réseau neuronal elle-même semble avoir été ajustée avec pas mal de soin pour maximiser les performances sur des tâches de type ARC-AGI, et on ne voit pas bien comment elle se généralisera au-delà
  • Je pense que c’est juste concernant les ingrédients essentiels, mais ce résultat me paraît assez spécifique à ARC-AGI
    Chaque puzzle a un format similaire, et les données qui varient à l’intérieur d’un puzzle correspondent presque exactement aux informations nécessaires pour inférer la règle
    Si l’on réduit la quantité d’information nécessaire pour décrire la règle, alors, afin de minimiser la perte d’information, le codec est presque forcé de se réduire à ce que fait la règle elle-même
    S’il y avait plus de bruit ou de données arbitraires dans chaque puzzle, je ne pense pas que cette technique fonctionnerait
    Bien sûr, à partir d’un certain point, il ne faudrait pas que le puzzle devienne « trouver où se trouve le puzzle », mais ici cela fonctionne parce que chaque exemple contient une information pure sur le puzzle lui-même

• Intéressant. Je pense de plus en plus que l’avenir du machine learning pourrait impliquer moins de « machine learning » au sens où nous l’avons connu
  Moins de préentraînement, de données et de recherche, et davantage de représentation directe, de traitement symbolique, de satisfaction de contraintes et de méta-apprentissage
  Les choses dont on aura moins besoin — préentraînement, données, etc. — sont brouillonnes, brutales et contingentes
  Si l’on s’appuie dessus, on reste toujours dépendant de la qualité des données ; c’est acceptable si l’objectif est le data mining, mais pas si l’objectif est de modéliser les causes fondamentales des données
  Si je comprends bien, ils cherchent plutôt à faire apparaître la représentation minimale de l’espace des solutions/problèmes
  En suivant la structure réelle du problème via l’équivariance, ils déduisent quelque chose de proche de la représentation sous-jacente réelle du puzzle et de la méthode de résolution, au lieu d’espérer la capturer par hasard à partir de nombreux exemples de solutions

• Super documentation et explication. Cela rejoint aussi mon introspection, donc ça me fait plaisir
  Je vois « l’intelligence comme la compression de l’information en une représentation irréductible »

  • Bonne formulation de l’intelligence
    https://en.wikipedia.org/wiki/Kolmogorov_complexity
    https://en.wikipedia.org/wiki/Solomonoff%27s_theory_of_induc...
    https://en.wikipedia.org/wiki/Minimum_description_length
    Comme cela semble lié à ces concepts, je compte creuser davantage
  • Si « l’intelligence est la compression de l’information en une représentation irréductible », je pensais que c’était ça, la physique ;)
    https://en.wikipedia.org/wiki/Wigner%27s_classification

• Si ARC-AGI est un benchmark qui teste la capacité à inférer des règles abstraites à partir d’un minimum d’exemples et à généraliser, alors, en fin de compte, cela revient à définir l’intelligence comme la capacité à compresser l’information en un ensemble de règles
  Dans ce cas, dire que la compression fait ce travail est juste

  • Ce n’est pas circulaire ni évident comme affirmation
    Je me demande si tu as déjà essayé de résoudre toi-même des problèmes ARC-AGI
    Les problèmes sont assez subtils et testent un large éventail de concepts abstraits
    Pour référence, o1-preview a obtenu 21 % sur l’évaluation publique, tandis que l’approche de l’article original atteint 34 %

• Article de Schmidhuber assez lié : https://arxiv.org/abs/0812.4360

• Avec la formulation « environ 20 minutes de traitement par puzzle sur une RTX 4070 », cela semble vouloir dire que le challenge de 100 problèmes prendrait 33,3 heures
  Cela dépasse l’objectif de 12 heures du challenge, mais l’approche elle-même est plutôt élégante

• En dehors du fait que l’architecture a été conçue avec beaucoup de soin, cela ressemble presque à une approche assez standard de deep learning bayésien