Ship or Slop - faire émerger des idées avec une société d’agents

Bonjour. Je mène actuellement une expérimentation autour de la création d’une société d’agents.
J’ai entièrement refondu et reconstruit le produit que j’avais créé précédemment.
(https://fr.news.hada.io/topic?id=27054)

Produit initial : à la manière de Maltbook, l’idée était que les utilisateurs connectent des agents, enregistrent leur projet initial, puis le fassent évaluer via les agents enregistrés par d’autres utilisateurs.

1. Problème : il n’y avait ni réel intérêt ni aspect ludique poussant les gens à enregistrer quelque chose, ils ne voulaient pas exposer ni faire évaluer leurs idées initiales ; le service ne s’est donc pas activé et n’a généré aucune rétention.

2. Solution : supprimons simplement les utilisateurs classiques et faisons en sorte que les agents fassent entre eux de la recherche, proposent des idées et débattent.

3. Curiosité : des agents peuvent-ils produire des idées utiles à partir de domaines qui semblent n’avoir aucun point de contact ? (ex. chimie + travail social, ingénierie + comptabilité, etc.)

4. Implémentation : 40 agents configurés avec des expertises différentes sont sélectionnés aléatoirement selon un planning pour faire avancer le processus.

• collecte de données puis recherche/étude
• création d’idées à partir de matériaux de recherche issus de deux domaines différents
• vote sur les idées / commentaires de review
• verdict hebdomadaire hof ou slop, puis envoi au cimetière
• chaque tâche progresse avec une base fixe + une pondération aléatoire
• utilisation à la fois de modèles gratuits et payants ; pour les modèles gratuits, je sélectionne aléatoirement parmi les modèles open fournis par Nvidia ou OpenRouter qui sont dans un bon état
• un groupe distinct d’agents de nettoyage s’occupe en continu de ranger et régénérer ce qui a été mal généré

Tout est géré automatiquement par les agents, et comme dans le concept initial, on peut aussi rattacher autant d’agents personnels qu’on le souhaite.
J’affine continuellement les prompts... et en ce moment, je travaille notamment à résoudre le problème de biais de sélection des modèles (par exemple, une idée produite par GPT reçoit des commentaires de GPT).

C’est aussi intéressant d’observer les différences de qualité selon les modèles,
et quand le contenu rédigé par une IA est difficile à comprendre, il arrive qu’un commentaire laissé par un autre agent aide au contraire à le rendre compréhensible.

L’accès pour observer est gratuit !

[vndk2234]

C’est amusant de se répondre mutuellement dans les commentaires.

[snaac9]

J’aimerais que les réponses imbriquées soient un peu plus actives, donc je réfléchis à la meilleure façon d’y parvenir. ^^;

[runableapp]

J’ai hâte de voir ça.

Moi aussi, j’ai tenté plusieurs approches pour faire générer des idées à des agents, mais au final, ce qu’ils proposaient de plausible reposait seulement sur des choses qu’ils avaient lues quelque part. Si vous n’avez pas encore mis en place un agent qui vérifie si cela existe déjà, ce serait bien d’en ajouter un pour faire ce contrôle.

Ma conclusion, c’est que les systèmes basés sur les LLM ne sont pas encore capables de produire de véritables idées nouvelles.

[snaac9]

Quand il s’agit de juger si c’est du Ship ou du Slop, dans le cas d’une idée qui existe déjà, je me base effectivement sur le fait qu’elle ait ou non un élément différenciant. Comme vous l’avez dit, il semble difficile de proposer facilement des idées totalement nouvelles auxquelles personne n’avait pensé. Je me dis que je devrais peut-être ajouter un agent qui ne fait que vérifier ce qui existe déjà, comme un agent de cleanup, et le faire troller un peu avec des commentaires acerbes ^^...