Les progrès vers l’AGI se sont arrêtés. Il faut de nouvelles idées
Annonce de l’ARC Prize
- ARC Prize : une compétition dotée de plus d’un million de dollars pour faire avancer l’AGI open source
- Objectif : accélérer les progrès vers l’AGI grâce à de nouvelles idées et résoudre l’évaluation ARC-AGI
Intelligence contre mémorisation
- IA moderne : fonctionne principalement en mémorisant des motifs de haute dimension et en les appliquant à des situations similaires
- Problème : elle ne parvient pas à produire un nouveau raisonnement face à une situation inédite
- Intelligence générale : capacité à acquérir efficacement de nouvelles compétences
- Nécessité : il faut de nouvelles architectures ou de nouveaux algorithmes
Les limites des LLM
- Systèmes d’IA existants : peuvent battre les humains dans certains jeux spécifiques, mais sont incapables de passer à d’autres jeux
- Échec de la généralisation : l’IA ne s’adapte pas aux nouvelles situations
ARC-AGI
- Présentation : introduit dans l’article de François Chollet "On the Measure of Intelligence"
- Objectif : évaluer des systèmes capables d’acquérir efficacement de nouvelles compétences et de résoudre de nouveaux problèmes
- État actuel : les humains obtiennent entre 85 % et 100 %, tandis que l’IA n’atteint que 34 %
Faire avancer l’AGI open source
- Problème : depuis GPT-4, la recherche sur l’AGI est devenue fermée
- Historique : les progrès des LLM sont le résultat de la collaboration de nombreux chercheurs
- Nécessité : l’open source est indispensable pour stimuler de nouvelles idées
Objectifs de l’ARC Prize
- Augmenter la participation à la recherche : accroître le nombre de personnes impliquées dans la recherche sur l’AGI
- Mesurer les progrès de l’AGI : populariser une méthode objective de mesure des progrès vers l’AGI
- Résoudre ARC-AGI : résoudre l’évaluation ARC-AGI et apprendre quelque chose de nouveau sur la nature de l’intelligence
Pour commencer
- Comment participer : tout le monde peut participer, les nouvelles idées peuvent venir de partout
- Informations fournies : détails sur le format et les récompenses de l’ARC Prize 2024
L’avis de GN⁺
- Importance de l’open source : l’open source est essentiel pour stimuler l’innovation et réduire l’écart entre les petites et les grandes entreprises d’IA
- Besoin de nouvelles idées : la recherche actuelle en IA manque de nouvelles idées, ce qui freine les progrès vers l’AGI
- Problème de régulation : des croyances erronées pourraient conduire à un durcissement de la régulation de la recherche en IA
- Avantage des compétitions : des concours comme l’ARC Prize peuvent motiver les chercheurs et stimuler de nouvelles idées
1 commentaires
Commentaires Hacker News
Simon Strandgaard a participé à l’ARCathon 2022 et 2023, en résolvant respectivement 3 et 8 tâches. Il collecte actuellement des données sur la manière dont les humains résolvent les tâches ARC et a déjà réuni 4 100 enregistrements d’interactions. Il fournit également divers jeux de données similaires à ARC.
Avis selon lequel le paradigme actuel d’apprentissage centré sur les données ne se généralise pas et n’est pas durable. Les humains peuvent distinguer un chat d’un chien sans milliers d’exemples, alors qu’un ordinateur a besoin de millions d’exemples. Dans les domaines où les données sont rares, le transfert de connaissances peut être difficile.
Les problèmes ARC exigent beaucoup de connaissances spatiales sur le monde, et comportent souvent des éléments plus intuitifs pour le traitement visuel humain que du raisonnement abstrait. La reconnaissance de motifs visuels y joue un rôle important.
Certains soutiennent que les tests ARC sont aussi difficiles pour les humains. Dans le test ConceptARC, 25 à 30 % des humains ne parviennent pas à résoudre des questions simples. Cela pourrait limiter l’utilité d’ARC.
Un commentaire se demande s’il existe un classement pour une version sans restriction du concours. Il aimerait voir les performances de GPT-4.
Avis selon lequel une récompense d’un million de dollars pour la recherche sur l’AGI est trop faible. L’impact de l’AGI se chiffrera au minimum en milliers de milliards de dollars, et la récompense actuelle pourrait seulement servir à affiner la dernière version publique d’un LLM.
Un commentaire note qu’il peut exister plusieurs réponses valides pour certaines énigmes. Dans l’exemple, il est impossible de connaître exactement la distance attendue.
Les tâches ARC visent la reconnaissance de motifs visuels, mais cela ne peut pas constituer la seule définition de l’intelligence. L’intelligence de collaboration humain-IA est importante, et le problème devrait être reformulé comme une optimisation d’objectifs à attributs multiples.
Selon un commentaire, l’article de François Chollet est très perspicace et apporte la meilleure réponse sur la définition de l’intelligence générale. Définir l’intelligence par l’efficacité de l’apprentissage aide à comprendre ce qui rend l’intelligence humaine impressionnante.
Avis selon lequel l’ensemble de problèmes ARC est bien plus difficile que les ensembles de problèmes ML existants, sans pour autant représenter l’AGI. Il s’agit simplement d’un nouveau jeu de données, avec une approche similaire aux précédentes. Une AGI pourrait résoudre ce problème, mais sa résolution ne constitue pas un indicateur garanti d’AGI.