- Project Sid est un dépôt de rapport technique qui montre comment 10 à plus de 1 000 agents IA se comportent et progressent au sein d’une société d’agents
- Il part du constat que les évaluations existantes des agents IA restent limitées à des agents isolés ou à de petits groupes, ce qui restreint l’échelle et la complexité des interactions
- PIANO est une architecture Parallel Information Aggregation via Neural Orchestration, qui permet aux agents d’interagir en temps réel avec des humains et d’autres agents tout en maintenant la cohérence entre plusieurs flux de sortie
- Dans l’environnement Minecraft, les performances des agents dans des simulations à grande échelle sont évaluées au moyen d’un benchmark de civilisation inspiré de l’histoire humaine
- Les premiers résultats montrent que les agents atteignent des jalons importants vers une civilisation IA, notamment en créant de manière autonome des rôles spécialisés, en suivant ou en modifiant des règles collectives, et en participant à la diffusion culturelle et religieuse
Le problème abordé par Project Sid
- Jusqu’à présent, les agents IA ont principalement été évalués de manière isolée ou au sein de petits groupes
- Dans ce type de configuration, l’échelle et la complexité des interactions entre agents sont limitées
- Le projet part du constat que les simulations à grande échelle d’agents autonomes reflétant tout le spectre des processus civilisationnels n’ont pas encore été explorées
L’architecture PIANO
- Project Sid propose l’architecture PIANO
- Son nom complet est Parallel Information Aggregation via Neural Orchestration
- Elle permet aux agents d’interagir en temps réel avec des humains et d’autres agents
- Elle vise à maintenir la cohérence entre plusieurs flux de sortie
Simulation et méthode d’évaluation
- L’évaluation est réalisée dans l’environnement Minecraft
- Pour évaluer les performances des agents dans des simulations à grande échelle, le projet utilise un benchmark de civilisation inspiré de l’histoire humaine
- L’échelle des expériences inclut 10 à plus de 1 000 agents IA
Comportements observés chez les agents
- La simulation indique que les agents peuvent accomplir des progrès significatifs
- Les comportements observés incluent notamment :
- le développement autonome de rôles spécialisés
- le respect des règles collectives et leur modification lorsque nécessaire
- la participation à la diffusion culturelle et religieuse
Ressources et informations de citation
- L’article est disponible à deux emplacements
- arXiv:2411.00114
- le fichier PDF
2024-10-31.pdfdans le dépôt
- Les informations de citation sont fournies sous la forme
Altera.AL, 2024,arXiv preprint arXiv:2411.00114 - Les premiers résultats de Project Sid sont présentés comme ouvrant de nouvelles pistes d’exploration pour les simulations sociales à grande échelle, l’intelligence organisationnelle des agents et l’intégration de l’IA à la civilisation humaine
1 commentaires
Avis de Hacker News
Il semble y avoir certaines contraintes de théorie de l’information lorsqu’il s’agit de faire émerger un comportement d’ordre supérieur à partir de plusieurs instances du même LLM
L’an dernier, j’ai passé pas mal de temps à construire des simulations multi-agents, et j’arrivais chaque jour à la même conclusion. Au bout du compte, cela ressemble surtout à une forme détournée de prompt engineering ; même si cela peut être utile comme modèle mental, on peut aplatir l’ensemble en quelques tables SQL et fonctions. Chaque « agent » s’apparente essentiellement à une vue SQL associée à un template de chaîne qui fabrique un prompt
Je ne vois pas la nécessité d’un véritable monde 3D ni d’une horloge murale, par exemple. Ajouter une représentation plausible sous le processus de génération du prompt ne semble pas enrichir significativement le LLM. Comme il n’y a manifestement pas de « monde intérieur » dans un LLM, essayer de le divertir avec un environnement externe riche ne paraît pas avoir beaucoup de sens
Peut-être qu’un jour on saura produire des maillages riggés et texturés contrôlables à un niveau utilisable dans un jeu, mais pour l’instant ils ne génèrent pas à la volée des histoires assez fiables pour soutenir une intrigue de jeu cohérente. La génération de cartes ne semble pas nécessiter davantage que les algorithmes de génération procédurale existants, et ces exemples reposent toujours sur des assets préfabriqués. Ces implémentations ne semblent même pas réussir de manière fiable à placer plausiblement des maillages statiques au sol
Même pour les PNJ, je me demande quelle est leur valeur réelle. Ce pourrait n’être qu’un effet de nouveauté, qui ne vaut même pas une heure. Même si un LLM produit à la volée des phrases pour faire avancer une intrigue guidée, je doute que ce soit aussi bon, ou meilleur, qu’un arbre de dialogues écrit par un scénariste professionnel
Cette idée façon Civ semble, dans une certaine mesure, être une approche nouvelle, mais conceptuellement elle n’ajoute pas grand-chose. Cela dit, apprendre que ça ne marche pas a en soi de la valeur. Simplement, ces idées sont le plus souvent des solutions à la mode en quête d’un problème, ou une source de créativité moins chère que les humains mais avec de gros compromis de qualité et tellement de réglages à faire par les développeurs que les économies réelles restent discutables
En tant que technical artist, j’ai sans doute un biais qui me fait accorder davantage de valeur à la créativité humaine, mais je devrais aussi faire partie du cœur de cible des outils LLM pour le développement de jeux, et pour l’instant je ne suis pas convaincu
Je soutiens pleinement le fait que des intérêts commerciaux suscitent attention et participation. C’est assurément un travail impressionnant, mais il serait plus pertinent de présenter la situation de façon beaucoup plus honnête et d’attirer des personnes ayant l’expertise et le niveau de lucidité nécessaires pour vraiment faire avancer les choses
Il serait bien plus intéressant de publier les dix mille choses qui ont mal tourné dans l’expérience, puis d’en tirer les conclusions de bon sens. Il faut des observations perspicaces et justes, comme la conclusion ci-dessus
Ce secteur et ceux qui l’accompagnent doivent dépasser cette tendance à vouloir gagner avec de mauvaises méthodologies, tout en repoussant les personnes créatives prêtes à provoquer un changement de paradigme dans le domaine et l’industrie de l’IA
On pourrait bien sûr écrire tous les prompts soi-même, mais alors cette réalité partagée n’est que l’imagination de l’auteur, qui joue le rôle de maître du donjon
Le but de l’environnement Minecraft n’est pas d’enrichir le « monde intérieur » des agents ni de les « divertir ». Il s’agit de créer, dans un environnement partagé, des tâches compréhensibles par des humains afin de mesurer le comportement collectif et les performances de groupes d’agents aux configurations différentes
Je sais que ce n’est pas le genre de chose qu’il faut dire, mais je me demande si vous avez lu l’article. Ce commentaire aborde à peine les découvertes de la recherche ou les techniques utilisées
Ils n’ont pas tous besoin d’utiliser le même modèle, et la gestion du contexte qui maintient la « chaîne de pensée » de chaque agent étroite et focalisée peut être importante
Le premier point est essentiellement ce que traite le mélange d’experts (MoE), et j’ai vu de petits modèles fonctionner bien mieux lorsque leur portée et leur contexte étaient limités. Si le résultat leur permet de faire quelque chose qu’un seul grand modèle ne peut pas faire, alors on peut se demander si ce n’est pas justement un comportement d’ordre supérieur
Dire qu’il n’y a pas de « monde intérieur » est juste, mais c’est peut-être précisément pour cela qu’il peut être avantageux d’en fournir un. De la même manière que donner à un LLM un outil d’exécution de code lui permet d’exécuter lui-même et d’écrire un meilleur code, un monde 3D pourrait devenir un terrain de jeu pour explorer les problèmes du monde réel autrement. Si cela arrive, on pourrait y voir un comportement d’ordre supérieur
Dans les LLM, seule une très faible entropie entre via la température du sampler
Cela ressemble vraiment à un véritable agent d’intelligence artificielle
Il y a de la mémoire, une volonté, de l’autonomie, une structure de type boucle OODA, et un environnement persistant. C’est un très bon concept, et je pense que les enseignements tirés ici pourront aussi s’appliquer à des problèmes métier plus ordinaires
J’aimerais toutefois que les dirigeants comprennent que quelques prompts qui se renvoient des résultats les uns aux autres ne constituent pas une « IA agentique de pointe »
Mais leur emploi dépend peut-être de leur capacité à vendre aux cadres quelque chose qui ressemble à une véritable innovation
Les agents existants disposent déjà souvent d’une mémoire et de plusieurs des éléments mentionnés plus haut
J’ai parcouru l’article, et je suis convaincu qu’il est fabriqué sur un ensemble de fausses affirmations.
Les affirmations ne semblent pas sincères et ne devraient pas être prises pour argent comptant sans évaluation par les pairs. Les graphiques et visuels fournis, quand on examine leur applicabilité aux affirmations, ressemblent dans plusieurs cas à des faux élaborés.
Aucun type de LLM actuel ne peut faire ce qui est proposé. Du point de vue des intérêts commerciaux, les intentions peuvent être bonnes, mais pour être clair, l’article se lit comme si un groupe d’agents IA avait coordonné des activités liées à une élection dans une simulation. Ce genre d’affirmation exige des preuves substantielles, qui ne sont pas fournies.
Les prompts fournis n’ont absolument aucun lien avec la manière dont l’utilisation des LLM est décrite.
L’expérience sur « l’élection » était un scénario prédéfini, il n’y a pas eu de « coordination » d’activités électorales. Des « influenceurs » assignés à l’avance ont utilisé le système de conversation intégré à PIANO, le sentiment a été collecté automatiquement par la simulation, et l’« Election Manager » était lui aussi un autre agent prédéfini.
Cette partie de l’expérience, en particulier, a été conçue pour voir comment la présence ou l’absence de certains modules du framework PIANO influençait les comportements.
L’effet des activités électorales était sans doute très faible, mais je ne vois pas comme impossible que les agents se promptent mutuellement de manière à faire entrer le LLM dans l’espace latent lié aux élections.
Avec le même niveau de rigueur et de sincérité, je dirais que c’est du grand n’importe quoi motivé par la jalousie, et que de larges pans de l’article ont manifestement été mal compris.
Si un agent devient percepteur des impôts et qu’un autre se met à contester le régime fiscal sans que ce soit hardcodé, c’est vraiment impressionnant.
J’ai beaucoup réfléchi à ce problème. Je ne suis ni philosophe ni chercheur en IA, donc c’est plutôt de la spéculation, mais si je devais le faire moi-même, j’aimerais partir de principes et laisser le système évoluer ou découvrir des choses au fil du temps.
Les principes seraient des choses comme l’autoconservation, la nourriture, le logement, la reproduction, la communication, la mémoire, vus au prisme d’un calcul risque-récompense. Définir ce qui est « connu » et ce qui est « inconnu » pourrait aussi être central, mais pas de manière binaire.
La « mémoire » peut vouloir dire beaucoup de choses, mais si on la code comme une fonction dans laquelle une entité effectue une action produisant un résultat, et où le profil risque-récompense associé à ce résultat est comparé à des valeurs de tests empiriques allant de très négatives à très positives, cela me semble largement utile, à la fois pour les individus et pour les groupes.
De là découlent le besoin de se connecter aux autres, les conflits autour des ressources, la prise de risque, l’exploration de l’inconnu, le partage de ce qui a été appris, le raffinement du risque-récompense, etc. En tant que maître de donjon quasi divin, on pourrait aussi guider une civilisation vers la découverte de technologies, d’inventions et de lieux prédéfinis. C’est un peu de la triche, et cela met le développement sur des rails, mais cela peut aussi rendre l’ensemble plus utile, plus intéressant et plus facile à comprendre émotionnellement.
La quantité de calcul semble énorme, mais le jeu n’a pas forcément besoin de se dérouler en temps réel.
Je pense qu’une grande partie de la condition humaine peut s’expliquer par « la vie », « la liberté », « l’amour/la connexion » et « l’avidité ».
En regardant la vidéo du dépôt, je n’aime pas trop la façon dont ils mélangent dès le départ « culture », « mèmes » et « religion ». Je préférerais les laisser émerger du besoin de communiquer et du processus de partage de systèmes de croyances issus de la mémoire collective. Pour les besoins de cette analyse, c’est peut-être une distinction sans différence. De plus, si « les impôts sont trop élevés ! » apparaît sans le « il n’y a pas assez de ressources pour vivre » sous-jacent, cela ressemble trop à une imitation mécanique de l’humain.
https://en.wikipedia.org/wiki/Society_of_Mind
Ce livre est paru pour la première fois en 1986, et c’est le premier exposé complet de la théorie de la « société de l’esprit » que Minsky développait depuis le début des années 1970. Il est composé de 270 essais indépendants répartis en 30 chapitres, et il existait aussi une version CD-ROM.
En expliquant la société de l’esprit, Minsky propose des théories sur le fonctionnement de processus comme le langage, la mémoire et l’apprentissage, et aborde aussi des notions comme la conscience, le sentiment de soi et le libre arbitre. C’est pourquoi beaucoup considèrent The Society of Mind comme un ouvrage philosophique.
Ce n’est pas un livre écrit pour prouver une thèse précise en IA ou en sciences cognitives, et il ne traite pas non plus de la structure physique du cerveau. C’est plutôt un ensemble d’idées sur la manière dont l’esprit et la pensée fonctionnent au niveau conceptuel.
C’est aussi assez accessible pour découvrir ce domaine de l’IA en non-spécialiste.
Certains domaines en tireront de gros bénéfices, mais pour ce qui est de l’intelligence artificielle elle-même, je ne pense pas qu’on en soit encore là. Les jeux devraient en profiter énormément.
En apprentissage par renforcement, chaque victoire modifierait la politique ; je me demande comment cela fonctionnerait avec l’IA générative.
Les mèmes et les gènes sont tous deux de la mémoire, mais à des échelles de temps différentes.
Ça ressemble vraiment à un jouet génial
Mais du point de vue de la recherche scientifique, ça ne semble pas particulièrement utile. On n’a pas l’impression que beaucoup de réflexion ait été consacrée à la conception des expériences, et il ne semble pas y avoir d’objectif clair. Je me demande si les standards de la recherche académique sont vraiment tombés aussi bas
Ils appellent eux-mêmes ça un rapport technique, et dans ce format il est généralement plus acceptable de dire « voilà ce que nous avons fait » et d’en fournir un compte rendu détaillé, sans question de recherche clairement définie. Cela dit, ce rapport paraît quand même assez dispersé
Les sections sur la spécialisation et la diffusion culturelle étaient toutes deux intéressantes, mais faute de détails précis sur le protocole expérimental, je me dis qu’il aurait mieux valu se concentrer sur l’une des deux
J’ai aussi trouvé dommage que, dans les cas multi-agents, ils ne se concentrent pas sur des métriques externes. Le benchmark à agent unique examine une métrique externe — le « temps jusqu’au type de bloc » —, mais l’analyse multi-agents semble rester sur des mesures internes comme la spécialisation des rôles ou la propagation de mèmes. On ne voit pas si un système collectif multi-agents accomplit davantage qu’un agent unique sur des indicateurs comme la productivité économique ou la complexité
C’est évidemment lié à la section sur la spécialisation, mais si l’on ne se demande pas si cette division émergente des rôles a des résultats économiques ou des conditions préalables, on peut se demander dans quelle mesure l’ensemble relève de la pantomime
Certaines personnes préfèrent la vitesse et l’incertitude qui l’accompagne
Je me demande si une « civilisation » IA semblable à ce que propose Altera pourrait constituer un meilleur paradigme pour l’AGI qu’un LLM unique, à condition de disposer d’un système de récompense viable pour l’ensemble de la civilisation
Par exemple, si cette civilisation IA cherchait à maximiser [scientific_output], [code_quality] ou une autre métrique d’évaluation, comme un État moderne cherche à maximiser son PIB, obtiendrait-elle de meilleurs résultats qu’un agent IA unique travaillant vers le même objectif ?
Je le recommande vivement à toute personne intéressée par l’esprit et l’IA. Le livre traite les différentes facettes de son argumentation sous forme d’essais d’une page, dans un format intéressant, presque à la Martin Luther
Bien sûr, cette approche a été un peu éclipsée par la ruée vers les LLM purs et brillants, mais j’y vois davantage l’effet d’un élargissement massif du public que la disparition du savoir. Les spécialistes gardent toujours cette perspective en tête, parfois sous le terme d’« ensemble »
GPT-4 en est un bon exemple : d’après ce que j’ai compris, le grand gain de performance venait principalement de l’usage d’un mélange d’experts, ce qui me semble presque synonyme d’une société d’agents ou d’un ensemble de modèles
Ça a l’air très cool. Je suis sceptique quant aux bénéfices pour une « civilisation », mais cela pourrait au moins permettre de créer un jeu de simulation intéressant
Donc ce serait peut-être meilleur pour Civilization que pour une civilization
Civ contient tellement de pièges idiots qu’il est difficile de coder à la main, de façon économiquement viable, une bonne IA stratégique ; et résoudre le problème en faisant tricher l’adversaire est simplement agaçant. Il serait intéressant d’entraîner un réseau de neurones en le faisant jouer en continu contre l’IA « classique » jusqu’à ce qu’il batte régulièrement chaque niveau de difficulté, puis de construire des paliers. J’imagine que quelqu’un a déjà essayé, mais je n’ai pas trouvé de documentation
Cela dit, je reste sceptique sur le coût de calcul à l’inférence, même pour un réseau de neurones très médiocre destiné à Civ. Je ne sais pas comment cela passe réellement à l’échelle, mais même sans viser le niveau grand maître, la distribution des erreurs stupides a une longue traîne
L’IA StarCraft 2 de DeepMind diffère d’AlphaZero parce que StarCraft n’est pas un jeu à information parfaite. Cette IA a besoin d’une base de données de parties humaines pour ne pas se faire démolir en boucle au début. Pour un nouveau jeu, il est difficile d’obtenir de telles données d’entraînement. Civ a aussi mis davantage l’accent sur l’expression artistique que d’autres jeux de stratégie 4X, et s’il faut réentraîner l’IA à chaque nouvelle merveille, cela pourrait représenter une charge trop lourde
Je suis sceptique quant au fait que ce projet fonctionne réellement comme présenté, mais l’idée de créer un jeu Civilization par-dessus le moteur de Minecraft est très intéressante
Hearthstone me vient particulièrement à l’esprit
Les enjeux seraient plus élevés et plus réalistes que « planifions une fête » / « d’accord, je vais aller chercher du bois »
Pour être honnête, l’article en parle peut-être. Quoi qu’il en soit, on dirait bizarrement une préprépublication de prépublication
Ça me fait penser à Dwarf Fortress. Le jeu simule des milliers d’années de temps dans un monde de nains, avec un terrain qui évolue et l’essor puis la chute de royaumes nains, avant de déposer sur la carte sept nains contrôlés par le joueur en disant : « amuse-toi bien ! »
Cela pourrait servir de modèle-jouet utile pour trouver des domaines où étudier s’il est possible de prédire le comportement de vraies civilisations, mais je ne vois pas ici de percée en IA
On verra avec Project Sid 6.7
Vu le contenu, je pensais que le film datait de quelques années plus tard. Si vous aimez les films cyberpunk des années 1990, ça vaut le coup d’œil
https://www.imdb.com/title/tt0114857/
https://en.wikipedia.org/wiki/Virtuosity
Il y a aussi un billet d’annonce sur le blog : https://digitalhumanity.substack.com/p/project-sid-many-agen...
À la lecture de l’article, on a l’impression que la charrue a été mise avant les bœufs.
Les agents ne peuvent pas réellement jouer individuellement à Minecraft, et ne parviennent pas non plus à accomplir avec succès les tâches qui leur sont assignées ou auxquelles ils se portent volontaires. D’une certaine façon, c’est comme habiller un chien avec des vêtements humains et déclarer qu’il s’agit d’une civilisation à l’allure humaine.
De plus, les éléments clés sont en pratique hardcodés. C’est le cas, je pense, des types de sociétés possibles et probablement des noms de rôles. Je ne vois pas très bien non plus ce que l’organisation sociale est censée signifier. Au mieux, on peut dire que ce framework d’agents pourrait être utilisable pour des PNJ de jeu, c’est-à-dire soutenir l’idée que les agents conservent des rôles et des factions.
L’affirmation selon laquelle un agent peut « utiliser des structures juridiques » est particulièrement peu crédible. Parce que « utiliser des structures juridiques » est inscrit dans de nombreux comportements d’agents. Tenter d’extrapoler cela à de vraies sociétés humaines est ridicule, et le fait que les auteurs ignorent tranquillement la sociologie et l’anthropologie n’aide pas.
Il y a aussi d’autres affirmations douteuses. J’ai dit que je « crois » que les noms de rôles sont hardcodés, mais, sauf si j’ai raté quelque chose, les informations sont d’une ambiguïté difficile à accepter. Je ne vois dans aucun prompt d’agent un élément qui permette de créer de nouveaux rôles ou de s’attribuer soi-même un rôle. J’ai peut-être manqué quelque chose, mais plus je lis, plus je suis perplexe.
Ils affirment que les agents ont formé des relations sociales de long terme pendant 12 jours Minecraft, mais cela ne représente que quatre heures en temps réel, et les agents font l’expérience du temps réel. La durée d’une journée Minecraft n’a pas d’importance. « Formation de relations sociales de long terme » et « utilisation de structures juridiques » ne semblent pas seulement exagérés, mais malhonnêtes.
La partie sur la propagation des mèmes et de la religion ignore complètement la contamination des données d’entraînement de GPT-4. Le mème résumé montre clairement qu’il connaît le mème pastafarien réel ; conclure que ce mème s’est « propagé » est donc erroné. Il est bien plus probable qu’il ait été réactivé chez des agents qui le connaissaient déjà. Je me demande pourquoi ils n’ont pas expérimenté avec une fausse religion réellement nouvelle.
Certains exemples de mèmes, comme « oak log crafting syndrome », semblent nouveaux, mais des choses comme « meditation circle » ou « vintage fashion and retro projects » n’ont aucun rapport avec Minecraft et relèvent presque certainement d’hallucinations de GPT-4.
Dans l’ensemble, si l’on veut mener une recherche honnête, utiliser GPT-4 semble être une terrible erreur.
Par exemple, si l’on donne un état de plateau n×n comme modèle du monde et qu’on fournit un ensemble fini de choix, l’agent peut jouer de manière stable et expliquer ses décisions au maître du jeu. Cela donne l’illusion que l’agent raisonne.
Au fond, je vois cela comme un problème d’encodage consistant à décomposer le modèle du monde en problèmes de choix simples.
[1] https://jdsemrau.substack.com/p/evaluating-consciousness-and...