- ARC Prize est un concours doté d’environ 1 million de dollars (1m$) ou plus, destiné aux participants qui surpassent l’évaluation ARC-AGI et publient leur solution en open source
- Le constat de départ est que les LLM modernes ressemblent davantage à des moteurs de mémorisation, qui appliquent à des contextes proches des motifs de haute dimension issus des données d’entraînement, sans créer de nouveaux raisonnements dans des situations inédites
- Le score SOTA d’ARC-AGI est passé de 20 % en 2019 à seulement 34 % aujourd’hui, montrant que des tâches que les humains et les enfants apprennent rapidement restent très difficiles pour l’IA moderne
- En toile de fond, la critique est que les rapports techniques de GPT-4 et Gemini ne divulguent pas les détails essentiels, que la recherche AGI de frontière devient fermée, et que les investissements centrés sur les LLM ont réduit l’intérêt pour les nouvelles architectures et les nouveaux algorithmes
- ARC Prize vise à permettre à davantage de chercheurs de mesurer publiquement les progrès vers l’AGI et à apprendre de nouvelles choses sur le fonctionnement de l’intelligence générale en cherchant à résoudre ARC-AGI
Les conditions posées par ARC Prize
- ARC Prize est un concours doté de plus d’un million de dollars, visant à faire progresser l’AGI ouverte
- La condition centrale est de dépasser l’évaluation ARC-AGI et de publier la solution en open source
- Les organisateurs sont Mike Knoop et François Chollet, avec Infinite Monkey et Lab42
La frontière entre mémorisation et intelligence générale
- L’IA moderne, en particulier les LLM, excelle à mémoriser des motifs de haute dimension dans les données d’entraînement et à les appliquer à des contextes proches
- Même les capacités de raisonnement apparentes reposeraient sur la mémorisation de schémas de raisonnement et leur application à des contextes similaires, avec l’idée qu’elles ne génèrent pas de nouveaux raisonnements dans des situations inédites
- Sur des benchmarks fondés sur la mémorisation comme MMLU, GSM8K, ImageNet ou GLUE, il est possible d’« acheter » de la performance avec davantage de données d’entraînement
- L’intelligence générale est la capacité à acquérir efficacement de nouvelles compétences, et il est difficile d’y parvenir par la seule mémorisation
- Le simple passage à l’échelle ne permettrait pas aux LLM d’apprendre de nouvelles compétences ; il faudrait de nouvelles architectures ou de nouveaux algorithmes capables d’apprendre au moment du test
Les limites de généralisation révélées par l’IA dans les jeux
- Des systèmes d’IA capables de battre les humains au poker, aux échecs ou au go existent depuis longtemps
- Un système entraîné pour réussir dans un jeu ne pouvait pas être simplement réentraîné pour un autre jeu, et les chercheurs devaient reconcevoir et reconstruire un nouveau système pour chaque jeu
- Cette situation est interprétée comme un échec de généralisation
- Sans cette capacité, l’IA reste limitée par l’intelligence générale de l’humain dans la boucle
Ce qu’ARC-AGI cherche à mesurer
- ARC-AGI est une évaluation introduite dans l’article de François Chollet On the Measure of Intelligence
- Cette évaluation cherche à mesurer l’intelligence générale de systèmes capables d’acquérir efficacement de nouvelles compétences et de résoudre des problèmes nouveaux et ouverts
- En 2019, le meilleur score SOTA sur ARC-AGI était de 20 %, et il est aujourd’hui de 34 %
- Les humains et les enfants peuvent apprendre rapidement les tâches, mais ARC-AGI reste très difficile pour l’IA moderne
- De nombreux benchmarks d’IA testent la capacité de mémorisation et atteignent donc rapidement une saturation au niveau humain
- ARC-AGI est conçu pour résister à la mémorisation et reste une évaluation difficile à la fois pour les plus grands modèles Transformer de fondation et pour les systèmes d’IA spécialisés pour ARC-AGI
- Une solution à ARC-AGI pourrait ouvrir un nouveau paradigme de programmation dans lequel les programmes se généralisent parfaitement et de manière fiable à partir d’ensembles arbitraires de connaissances préalables
Une recherche en IA de frontière qui se referme
- Depuis la sortie de GPT-4, les progrès de frontière vers l’AGI seraient passés dans une dynamique fermée
- Le rapport technique de GPT-4 ne contenait pas de détails techniques, et OpenAI a cité la « concurrence » comme première raison
- Le rapport technique de Gemini de Google ne contenait pas non plus les détails techniques des innovations de frontière liées à la longue fenêtre de contexte
- Les LLM ont capté une grande partie de l’attention de la recherche qui aurait pu porter sur de nouvelles architectures et de nouveaux algorithmes
- En 2023, plus de 20 milliards de dollars ont été investis dans des entreprises d’IA non générale, et de nombreux chercheurs de frontière de DeepMind ont été réaffectés à Gemini pour rivaliser avec OpenAI
Le rôle de la recherche ouverte dans l’histoire des Transformers
- L’architecture Transformer est apparue à la suite d’une accumulation de travaux dans la recherche en traduction automatique
- En 2014, Sutskever et al. ont publié chez Google Seq2Seq Learning, utilisant des RNN et des CNN
- En 2016, Bahdanau et al. ont popularisé le concept d’attention, permettant de prédire la sortie en tenant compte de différentes parties de l’entrée
- En 2017, Vaswani et al. ont supprimé les RNN et les CNN dans Attention Is All You Need et optimisé l’architecture, ouvrant la voie à un nouveau passage à l’échelle
- En 2018, Radford et al. ont construit GPT-2 à l’échelle de frontière sur l’architecture Transformer, montrant des capacités émergentes
- Cette trajectoire illustre le processus scientifique : des chercheurs de différents laboratoires et équipes publient leurs résultats, puis d’autres construisent à leur tour par-dessus
Objectifs et façons de participer
- ARC Prize poursuit trois objectifs
- Augmenter le nombre de personnes participant à la recherche AGI de frontière
- Populariser des critères objectifs de mesure des progrès vers l’AGI
- Résoudre ARC-AGI et apprendre de nouvelles choses sur la nature de l’intelligence
- Le format du concours et les détails des prix sont disponibles sur ARC Prize 2024
- La méthode pour commencer à résoudre ARC-AGI est disponible dans le guide
- La façon dont ARC-AGI mesure l’intelligence générale est consultable sur la page ARC-AGI
- L’avancement et les solutions SOTA sont mis à jour sur X/Twitter, YouTube, Email et Discord
1 commentaires
Commentaires sur Hacker News
Je suis Simon Strandgaard, et j’ai résolu 3 tâches dans ARCathon 2022 et 8 dans ARCathon 2023
Je collecte des données sur la façon dont les gens résolvent les tâches ARC, et j’ai pour l’instant recueilli 4 100 historiques d’interaction (https://github.com/neoneye/ARC-Interactive-History-Dataset)
En plus d’ARC-AGI, il existe aussi des jeux de données similaires à ARC, que vous pouvez essayer dans mon éditeur (https://neoneye.github.io/arc/)
En rejouant les historiques d’interaction, on voit que chaque personne a une approche différente. Le replay se fait à 100 ms par interaction ; les humains ne résolvent évidemment pas les tâches aussi vite
https://www.youtube.com/watch?v=vQt7UZsYooQ
Quand je résous manuellement des tâches ARC, cela ressemble à ceci, et on voit aussi que c’est assez lent
https://www.youtube.com/watch?v=PRdFLRpC6dk
Ce qui est étrange, c’est que la façon d’implémenter un solveur pour une tâche ARC donnée est assez différente de la façon de résoudre le puzzle à la main. Il faut gérer toutes sortes de cas particuliers
Un grand merci à l’équipe d’ARC Prize
C’est vraiment génial. Je partage l’intuition de François selon laquelle le paradigme d’apprentissage actuel, très gourmand en données, ne généralise pas bien et n’est pas durable
Les humains n’ont pas besoin de 10 000 exemples pour distinguer un chat d’un chien, et la principale raison pour laquelle les ordinateurs savent le faire aujourd’hui est qu’ils disposent de millions d’exemples
Il peut donc être difficile de transférer ces connaissances vers des domaines plus obscurs, où les données sont coûteuses, rares et difficiles à synthétiser
Une critique cependant : la plupart de ces tests semblent raisonner, du point de vue de la théorie des jeux, sur de l’information complète. Or beaucoup des problèmes les plus difficiles que nous rencontrons comportent de l’information cachée
Le poker et la négociation sont des exemples de résolution de problèmes en situation d’information imparfaite, et naviguer avec aisance dans des situations sociales exige aussi de traiter des problèmes connexes d’information cachée
L’une des choses vraiment intéressantes dont les humains sont capables est de recevoir les règles d’un jeu et d’en élaborer une stratégie. Il existe des algorithmes qui apprennent seuls le go ou les échecs, mais le même algorithme d’auto-jeu ne fonctionne pas pour les jeux à information cachée
Un système d’intelligence générale devrait aussi être capable de synthétiser un solveur de problèmes générique pour ce genre de situations
Ce n’était peut-être pas 10 000, mais cela devait plutôt se compter en centaines, voire en milliers
Les enfants demandent qu’on confirme si leur hypothèse est correcte. Même en relisant pour la cinquantième fois le même livre, ils montrent le chien sur l’image et demandent « chien ? », et cette phase de développement dure assez longtemps
Ils peuvent aussi se fâcher si l’étiquette attendue ne correspond pas à l’objet. Par exemple, mon fils se met vraiment en colère quand quelqu’un nomme mal une couleur
Les tout-petits aiment aussi jouer à donner exprès de mauvais noms. Si vous montrez un poisson en disant « quel beau lama ! », l’enfant trouve ça si drôle qu’il s’écroule de rire
Le développement du cerveau humain est très lent[1], et le sens linéaire du temps met lui aussi longtemps à apparaître. Même à trois ans, tout se classe entre hier, aujourd’hui et demain
Les enfants collectent des informations par plusieurs sens, accumulent des données à un rythme absurde 12 à 14 heures par jour, puis se reposent 10 à 12 heures pour traiter ces informations
[1] Il suffit de voir un bébé découvrir qu’il a un pied droit, puis, quelques jours plus tard, comprendre qu’il a aussi un pied gauche. On peut aussi voir un enfant qui apprend à se tenir debout se cogner plusieurs fois la tête sous une table avant de construire la notion de « au-dessus de moi ». Dire que les enfants apprennent « vite » signifie plutôt qu’ils n’ont rien d’autre à faire pendant plusieurs années
Autrement dit, les LLM sont pré-entraînés presque à partir de zéro avec des connaissances préalables très faibles, tandis que le cerveau humain est livré avec des connaissances préalables extrêmement fortes
Par exemple, même sans avoir jamais vu de chien ni de chat, une personne à qui l’on dirait simplement : « les chiens chassent en suivant les animaux et en les poursuivant longtemps pour les épuiser, tandis que les chats guettent les occasions et attaquent grâce à la discrétion et à l’agilité » aurait de bonnes chances, en voyant les deux animaux, de deviner lequel est lequel à partir de leurs formes d’adaptation
Cela pourrait être un test intéressant pour l’IA, mais je ne sais pas très bien comment le formuler comme évaluation
L’idée d’ARC est vraiment excellente, mais les problèmes semblent exiger beaucoup plus de connaissances du monde spatial que de raisonnement abstrait
Il s’agit de formes qui se chevauchent, s’incluent les unes les autres, de morceaux qu’on découpe puis réassemble, ou encore de débruitage de formes géométriques régulières
On peut appeler cela des « connaissances fondamentales », mais pour moi cela ressemble davantage à des « choses intuitives pour le traitement visuel humain »
Une personne intelligente mais aveugle pourrait-elle résoudre ces problèmes ?
Si nous craignons qu’il faille peut-être plus de 800 exemples, ce n’est pas parce que le raisonnement abstrait est trop difficile, mais parce que les problèmes exigent des connaissances spatiales que les humains intelligents apprennent à partir de bien plus de 800 exemples d’apprentissage
Si ce test représente un domaine où les humains sont bien meilleurs que l’IA, alors c’est un test utile. Comme l’IA réussit déjà tous les tests existants alors qu’elle est manifestement moins compétente que les humains dans de nombreux domaines, il nous faut davantage de tests de ce type
Le préentraînement sur des données illimitées devrait être autorisé. Généraliser depuis des données faciles à obtenir vers les tâches du test, c’est précisément ce que font les humains
Je suis convaincu qu’une personne aveugle pourrait les résoudre si l’on traduisait les couleurs en sensations tactiles. Les personnes aveugles comprennent aussi les relations spatiales
Si l’on définit l’AGI au moins comme un niveau humain, alors une AGI devrait pouvoir résoudre ce genre de choses sans voir davantage d’exemples
Il ne semble pas y avoir de règles sur les connaissances ou l’expérience que l’on peut intégrer à la solution
J’aime l’objectif du projet. Il serait intéressant d’examiner les précédents moteurs de raisonnement qui tentaient de construire du bon sens. Cyc et OpenMind en sont des exemples
La liste des objectifs d’AGI dans la section 2 de cet article peut aussi être utile
https://arxiv.org/pdf/2308.04445
En étudiant une introduction au fonctionnement du cerveau, j’ai aussi constaté que de nombreuses zones sont reliées à l’hippocampe. L’hippocampe pourrait peut-être à la fois stocker des concepts indépendants des sens et créer un modèle interne, ou une approximation, du monde extérieur
Le premier aiderait à relier des concepts à travers plusieurs sens, tandis que le second aiderait à planifier lorsqu’on imagine, évalue et itère sur des possibilités
Une AGI devrait probablement posséder ce genre de caractéristiques semblables à celles de l’hippocampe, ainsi que celles décrites dans les articles sur Cyc. On pourrait tester quelles architectures peuvent faire cela en théorie ou à petite échelle
Elle ne devrait pas non plus être liée à un seul type d’entrée sensorielle. Il en faudrait au moins deux, et elle devrait pouvoir agir à partir de ce qui n’existe que dans l’un des deux, ou dans les deux
Les enfants effectuent eux aussi une quantité énorme d’apprentissage non supervisé sur des données visuelles et spatiales. Ils reçoivent de l’apprentissage par renforcement via le jeu, et aussi de l’apprentissage supervisé de la part de leurs parents. Un benchmark réaliste pourrait donc nécessiter, de façon similaire, des Go de préentraînement
Prenons par exemple des formes qui s’incluent mutuellement. Si deux pays revendiquent le même territoire, on a un ensemble X qui contient Y et un ensemble Z qui contient Y
Si le chevauchement commun est en trois dimensions et que l’un se trouve au-dessus de l’autre, on peut étendre cela en disant que X contient -Y et que Z contient Y. Selon l’endroit où l’on se tient, on ne voit que celui du dessus et pas les deux ; on peut donc dire que X et Z ne peuvent pas exister simultanément. Ainsi, si X alors -Y, et si Z alors Y
Si l’on observe attentivement le langage que nous utilisons, on voit à quel point nous recourons aux relations spatiales même pour décrire des choses totalement abstraites. Par exemple, on peut parler d’une économie hégémonique qui s’effondre : c’est une expression où des choses empilées les unes sur les autres disparaissent et retournent d’où elles venaient
Au fond, nous raisonnons sur des choses qui se produisent dans le temps et l’espace
Et l’espace n’est pas la même chose que la vision. Même avec une déficience visuelle, il faut raisonner spatialement. Tout ensemble de faits est en effet constitué de faits situés dans l’espace-temps
Pour comprendre l’histoire, il faut comprendre des personnes dans l’espace, des personnes vivant à différentes distances, ainsi que la production de biens par des processus physiques en divers lieux de la Terre et leur échange physique
Pour comprendre une bataille, il faut comprendre comment les armées sont physiquement positionnées, comment fonctionnent les mouvements de ravitaillement, les conditions météorologiques, et ce que les armes et leur forme physique permettent réellement
Même les LLM, qui ont constitué la plus grande avancée en intelligence artificielle, que font-ils ? Ils encodent des tokens dans un espace multidimensionnel
Les relations spatiales ne sont qu’un autre type de relation logique, et une AGI devrait être capable d’analyser des relations et de générer à la volée des algorithmes pour résoudre les problèmes
Le fait que les humains puissent avoir divers biais ne signifie pas que ces biais soient inhérents à toute intelligence
J’étais sceptique quant à l’affirmation selon laquelle ce test est facile pour les humains, alors j’ai un peu cherché. Melanie Mitchell a participé au fil de Chollet et a publié un test lié, ConceptARC
Elle y met en doute le fait que le test de Chollet soit vraiment facile. « Une limite à l’utilité d’ARC pour la recherche en IA est qu’il pourrait être trop difficile. Beaucoup de tâches du corpus de Chollet sont difficiles même pour les humains, et l’ensemble du corpus pourrait être trop difficile pour les machines au point de ne pas révéler les progrès réels dans l’acquisition de connaissances de base »
ConceptARC a été conçu pour être plus facile, mais il a fallu écarter environ 15 % de ses propres participants au motif qu’ils « n’avaient pas résolu au moins deux tâches, ou avaient fourni des explications vides ou incohérentes »
Même après ce filtrage, ConceptARC a encore constaté un taux d’échec humain supplémentaire d’environ 10 à 15 % sur les problèmes principaux ; autrement dit, même sur des problèmes plus simples conçus pour tester l’« AGI », 25 à 30 % n’ont pas réussi
Dans les principaux résultats de ConceptARC, CG4 obtient un score bien inférieur à celui des humains filtrés, ce qui concorde aussi avec le résultat au test [Mensa]https://www.maximumtruth.org/p/ais-ranked-by-iq-ai-passes-10... indiquant un QI de 85
Chollet et Mitchell pourraient stratifier les groupes humains pour estimer leur QI, puis comparer avec les mesures de Mensa et voir, par exemple, comment Claude3@IQ=100 correspond au score ARC de l’humain moyen
[ConceptArc]https://arxiv.org/pdf/2305.07141
« Les humains étaient capables d’inférer le programme sous-jacent et de générer la sortie de test correcte pour de nouveaux exemples d’entrée de test, résolvant en moyenne 84 % des tâches par participant »
Soit je suis bien plus bête que je ne le pensais, soit il faudrait mieux valider le test
Si l’on prend cette affirmation au pied de la lettre, si aucun des modèles existants n’atteint même la moitié du score d’un humain moyen, il est clair que ce test mesure une différence importante
On peut discuter du fait que les problèmes ARC soient un échantillon représentatif de tous les programmes abstraits composables, mais la plupart des LLM sont de toute façon entraînés sur des données humaines
Je suis d’accord avec l’objectif du concours, mais quand on pense que des dizaines de milliards de dollars ont déjà été investis dans la course à l’AGI, et que beaucoup plus le seront encore, le prix d’un million de dollars paraît un peu faible
L’impact de l’AGI se mesurera au minimum en milliers de milliards. Au final, ce qui pourrait être récompensé ne serait pas la recherche sur l’AGI, mais le fine-tuning de la dernière version publique d’un LLM pour l’adapter au mieux aux paramètres du test
Il vaudrait aussi mieux changer de plateforme pour communiquer avec le public. Les liens x.com ne sont désormais plus accessibles sans créer de compte
Le principal objectif de ce prix est de sensibiliser le public à la question de savoir à quel point nous sommes proches de l’AGI, ou à quel point nous en sommes encore loin : https://arcprize.org/leaderboard
J’espère que cette prise de conscience incitera davantage de futurs chercheurs en IA à se tourner vers l’exploration de nouvelles idées
J’aime beaucoup ARC comme ensemble de problèmes à résoudre. Le fait que les données soient rares et que les règles applicables soient pratiquement infinies le rend bien plus difficile que les ensembles de problèmes classiques du machine learning
Cela dit, je ne suis pas d’accord pour dire que ce problème représente l’AGI. C’est simplement un autre dataset, différent des réussites classiques du machine learning, et les approches sont globalement similaires à celles d’avant
Une véritable percée nouvelle, l’AGI, pourrait bien résoudre cet ensemble de problèmes, mais je ne vois pas la résolution de cet ensemble comme un indicateur garanti d’AGI
C’est vraiment intéressant et j’aime beaucoup, mais d’après mon intuition après avoir vu une douzaine d’exemples, même si ces problèmes sont difficiles, ils restent suffisamment abordables pour qu’en cas de popularité on obtienne des résultats proches du niveau humain d’ici un an, voire plus tôt, sans pour autant atteindre l’AGI
Le cœur du sujet semble être de trouver un langage de transformation suffisamment général, doté des bons opérateurs. Et il faut une heuristique qui trouve, dans ce langage, un programme très court, au sens informationnel, capable de générer tous les exemples d’un problème
Je serais très surpris si le résultat de 34 % n’était pas nettement amélioré bientôt, et je serais tout aussi surpris si cela se transférait à l’intelligence générale. Surtout au vu des sujets pour lesquels j’utilise l’IA aujourd’hui et des points où elle reste encore insuffisante
En gros, j’ai l’intuition que ce sera un autre problème de type échecs ou go pour l’IA. Cela dit, cela a clairement de la valeur comme sujet de recherche, et la valeur qui peut en sortir peut largement dépasser un million de dollars
Je ne vois absolument pas en quoi bien réussir cette tâche prouverait qu’il s’agit d’une véritable AGI. Ce n’est pas la même chose que, par exemple, rédiger de nouvelles preuves mathématiques, poser des questions pertinentes auxquelles personne n’avait pensé, diriger soi-même son propre apprentissage ou être capable de lire son propre code source
L’expression « la seule évaluation qui mesure l’AGI » est exagérée. Ce ne sont que des problèmes que les LLM n’arrivent pas à résoudre, pas nécessairement un bon indicateur de l’intelligence artificielle générale.
Après avoir essayé quelques problèmes, je me suis demandé combien de règles de transformation différentes contenait le générateur de problèmes. Il ne semble pas y en avoir tant que ça.
Le problème se décompose donc ainsi : extraire des données un ensemble de règles de transformation, puis les appliquer à un nouveau problème.
La première partie est difficile : c’est un problème d’extraction de caractéristiques. Les transformations semblant s’appliquer strictement, une fois les règles de transformation obtenues et une règle compatible avec tous les exemples d’entrée choisie, l’application elle-même devrait être simple.
Il semble falloir une extraction de caractéristiques explicite, plutôt que la combinaison extraction/exploitation de caractéristiques utilisée par les LLM. Quelqu’un a-t-il essayé d’extraire un ensemble de règles à partir des cas de test ?
Certaines des meilleures solutions du concours Kaggle original utilisaient un langage dédié au domaine composé de ces transformations. C’était il y a 4 ans. [1]
Le problème avec cette approche, c’est que les tâches n’utilisent pas de générateur de programmes. L’ensemble de règles peut être tout ce qu’un humain est capable d’imaginer. Cela peut être aussi simple que « le plus grand objet devient bleu », mais aussi beaucoup plus complexe.
En plus, le jeu de test est privé, donc on ne peut ni l’apprendre ni l’extraire. Il contient aussi des règles absentes du jeu public.
[1] https://www.kaggle.com/competitions/abstraction-and-reasonin...
L’article original de François Chollet est incroyablement éclairant, et je suis toujours surpris qu’on n’en parle pas davantage.
Certaines parties sont assez techniques, mais à haut niveau, c’est la meilleure réponse que j’aie vue à la question : « que signifie l’intelligence générale ? »
Si l’on définit l’intelligence comme l’efficacité d’apprentissage, après prise en compte des connaissances préalables explicites et implicites sur le monde, il devient beaucoup plus facile de comprendre pourquoi l’intelligence humaine est si impressionnante.
Dwarkesh vient de publier une interview de François Chollet. C’est le partenaire de l’auteur du billet original.
Je n’en ai encore écouté que quelques minutes, mais j’ai très envie d’en entendre davantage sur sa vision des limites des LLM.
https://youtu.be/UakqL6Pj9xo