Expérience sur la mémoire des agents IA : les connaissances synthétisées dégradent au contraire les performances

Voici les résultats d’une expérience concrète sur la manière de doter un agent IA d’une mémoire.

Quatre configurations de mémoire ont été données au même agent IA (Claude), puis les mêmes 20 questions lui ont été posées à propos d’un véritable projet logiciel.

Résultats (sur 5) :

• Hybride (expérience + synthèse) : 4.95
• Mémoire expérientielle (logs bruts) : 4.55
• Référence de base (sans mémoire) : 3.30
• Mémoire synthétique (résumé structuré) : 2.65
La découverte la plus surprenante : une mémoire synthétique soigneusement organisée a obtenu un score inférieur à l’absence totale de mémoire.

Les auteurs appellent cela l’« effet de surconfiance » : des connaissances proprement résumées donnent à l’agent une confiance infondée et réduisent sa capacité à reconnaître qu’il ne sait pas. À l’inverse, des traces expérientielles brutes préservent des indices d’incertitude, ce qui conduit l’agent à un raisonnement plus honnête.

Article (prépublication) : https://doi.org/10.5281/zenodo.18802214
Données de l’expérience (publiques) : https://github.com/clawsouls/experiential-memory-dataset