Possibilité d’un phénomène de « brain rot » chez les LLM

• Selon l’hypothèse du brain rot des LLM, une exposition continue à des textes web de faible qualité peut provoquer une baisse des capacités cognitives d’un LLM.
• Les résultats expérimentaux observèrent, après un entraînement complémentaire sur des données de faible qualité, une dégradation de raisonnement, de compréhension de longs contextes et de sécurité, ainsi qu’une hausse des « caractéristiques sombres ».
• Plus la part de données junk augmente, plus la détérioration des capacités cognitives s’accentue.
• L’analyse des erreurs montre que le phénomène principal est l’omission de raisonnement (saut des étapes de déduction).
• Une récupération partielle est possible grâce à des données de haute qualité et du tuning, mais un retour complet reste difficile.

---

Aperçu de la recherche

• Cette étude propose et valide l’hypothèse du brain rot des LLM (LLM Brain Rot Hypothesis).
• Elle observe expérimentalement que l’exposition continue d’un LLM (Large Language Model) à des textes web de faible qualité (junk) peut entraîner une baisse cognitive à long terme.
• Pour isoler la cause et confirmer l’effet, un jeu de données Twitter/X d’origine a été utilisé pour constituer deux ensembles, des données contaminées (junk) et un groupe témoin, selon deux méthodes (M1: par indicateur d’engagement, M2: par qualité sémantique).
• Les deux méthodes alignent le nombre de jetons et les conditions d’entraînement afin que la variation de la qualité des données soit la seule variable indépendante.

Principaux résultats expérimentaux

• Après un pré-entraînement supplémentaire sur des données de faible qualité pour 4 LLM, une baisse claire des capacités cognitives est visible sur les indicateurs, notamment en raisonnement, compréhension de longs contextes et sécurité.
  • Une hausse des scores de « traits sombres » (psychopathie, narcissisme, etc.) accompagne également le phénomène.
• Par exemple, dans le paramètre M1, l’indicateur ARC-Challenge basé sur le Chain of Thought diminue de 74,9 à 57,2 et RULER-CWE de 84,4 à 52,3 ; la diminution des scores devient plus marquée lorsque la proportion de données junk augmente.
• Une réponse dose-dépendante (dose-response) a été observée : à mesure que la part de données junk augmente progressivement, l’ampleur du déclin cognitif s’aggrave proportionnellement.

Analyse de l’origine des erreurs

• La tendance au saut de pensée (thought-skipping) apparaît comme le principal schéma de dégradation.
  • Le LLM omet de plus en plus le processus de raisonnement, ce qui augmente le nombre d’erreurs.
• Récupération partielle : un retuning basé sur des instructions et un réapprentissage avec des données de haute qualité permettent de restaurer une grande part de la baisse cognitive, mais un retour au niveau de référence n’est pas atteint. Cela suggère qu’il ne s’agit pas d’une simple incohérence de format, mais d’un changement de représentation.
• Popularité plutôt que style : dans M1, la popularité d’un tweet (métrique non fondée sur le sens) envoie un signal plus fort pour mesurer l’impact du brain rot.

Conclusion et implications

• Le travail confirme de manière pluridisciplinaire que la qualité des données est la cause principale de la dégradation des capacités des LLM.
• Il redéfinit la curation de données dans la préformation continue des LLM comme un enjeu de sécurité de la phase d’entraînement.
• Il recommande la mise en place régulière d’un « check-up cognitif » pour les LLM en production.

[GN⁺]

Avis de Hacker News

• Utiliser le terme « Brain Rot » pour parler des problèmes de curation de données des LLM me paraît un peu prétentieux ; j'ai plutôt l'impression que l'auteur du post est lui-même tombé dans un mode de pensée façon LLM.

  • Ça ressemble vraiment à des phrases écrites par un vrai LLM, notamment parce qu'il utilise l'em dash (—) deux fois pour lister des éléments ; ce style est vite repérable par n'importe quel lecteur de HN.
  • De fait, les RH utilisaient déjà ce ton avant l'apparition des LLM : vérifient-ils les OKR, leurs collègues progressent-ils via des revues à 360 degrés, font-ils un point quotidien sur les objectifs avec des 1:1 manager, ce genre de discours RH.
  • Tant que le message passe bien, je ne vois pas ce qui cloche à écrire avec l'aide d'un LLM ; quoi qu'il en soit, les LLM deviendront sûrement un outil d'écriture incontournable.
  • Plus on utilise les LLM, plus on a l'impression d'une dégradation cognitive : à force d'utiliser un certain mode de saisie, on finit dépendant de l'auto-complétion et on se met à oublier des mots quand il faut écrire vraiment. Au final, la clé, c'est d'alimenter les LLM avec des données de haute qualité ; beaucoup de startups d'agents essaient justement d'intégrer des connaissances métier et des workflows de qualité par domaine dans les grands modèles.
  • Je trouve dommage qu'on étudie seulement le « brain rot » des LLM et qu'on néglige le brain rot humain ; si on avait accordé plus d'importance à l'hygiène cognitive des gens, les réseaux sociaux seraient bien plus sains aujourd'hui.

• Si vous voulez voir à quoi ressemble la donnée d'entraînement des LLM, je conseille de récupérer un échantillon aléatoire de Common Crawl (environ 100 Mo). https://data.commoncrawl.org/crawl-data/CC-MAIN-2025-38/segments/1757047532641.17/wet/CC-MAIN-20250905112101-20250905142101-00000.warc.wet.gz En le regardant, j'ai aussi vu pas mal de données problématiques dont il est difficile de parler ; bien sûr, en pratique, la pré-nettoyage doit filtrer ça, non ? Mais certains modèles de base/text comme Llama ont déjà affiché des résultats choquants, donc je me demande si le filtrage est vraiment rigoureux.

  • Karpathy a aussi récemment dit que l'échantillon de Common Crawl n'est qu'un fatras inutile, et que des infos premium comme les articles du WSJ y sont extrêmement rares, si bien que les entraîner dessus relève d'un certain miracle.
  • Les principaux acteurs de l'IA ont probablement recours à des classifieurs et des filtres de pointe pour écarter les données dangereuses ; si ça n'est pas parfait, ils contrôlent ensuite la réaction aux risques via RLHF. Finalement, filtrage des jeux de données et sourcing de données payantes de qualité sont leur différenciation vis-à-vis de l'open source, et jouent aussi sur une barrière à l'entrée plus faible.

• Finalement, constater qu'on injecte des données poubelles dans un LLM et que les résultats empirent ne me paraît pas une découverte ; ce n'est pas particulièrement surprenant.

  • Il y a néanmoins eu des expériences de restauration, et en recherche il est important de tester directement l'hypothèse ; pour faire passer l'importance du sujet aux chercheurs, la publication d'un papier est le moyen le plus efficace.
  • Il faut des recherches de validation, car circule la rumeur que toute donnée ferait l'affaire.

• Les deux grands problèmes mentionnés dans l'article sont :

  • Le « thought-skipping » (saut de pensée) est un point majeur : on omet souvent les étapes intermédiaires du raisonnement.
  • La « popularity » est plus corrélée à la brain rot que la longueur, c'est-à-dire que les tweets populaires sont un signal plus fort de l'effet brain rot. Vu sous cet angle, ce phénomène est finalement assez logique : la culture populaire a souvent tendance à sauter les arguments et à exposer directement les conclusions ; entraîner un modèle sur un flux de type fil Twitter le transforme ainsi. Il faut au minimum un jeu de données témoin sans médias sociaux.

• En lisant, j'ai eu l'impression qu'on sentait une ambiance « on sait déjà que les données d'entraînement sont pourries mais personne n'y prête vraiment attention » ; faire semblant d'être surpris que manger des données pourries rende bête paraît assez risible, ça ressemble à un truc qu'on savait déjà sans cette recherche.

• La métaphore de « l'hygiène cognitive » ne me semble pas adaptée : les LLM n'ont pas de cognition, donc la métaphore n'est pas non plus exacte, au fond l'essentiel est que les fournisseurs de données introduisent du contenu bon marché, y compris des données toxiques et protégées par droit d'auteur.

  • Dire qu'il y a une baisse cognitive n'est pas non plus pertinent : ils ne sont pas en train de « penser », mais de simuler le plus fidèlement possible.

• Les textes de brain rot peuvent être nocifs, mais les vidéos de brain rot, malgré leur aspect inquiétant, peuvent avoir une densité de sens élevée et constituer un point d'amélioration des performances (voir la vidéo d'analyse du brain rot en allemand), tout comme l'art de Svankmajer est du « proto-brainrot » que l'on rumine longuement au musée. Il y a aussi une confusion terminologique : il faut distinguer si le contenu est de mauvaise qualité ou s'il est riche en sens.

  • Selon les études, les vidéos de brain rot pour enfants ne sont pas positives, article associé sur Cocomelon, etc.. Un contenu suffisamment soigné peut, à l'inverse, être loin du spectre du brain rot.
  • Sur ce point, le risque est surtout que l'IA soit utilisée comme outil de manipulation des personnes (qu'on le veuille ou non, l'art est aussi une forme de manipulation) plutôt qu'un simple traitement technique de l'information ; le brain rot produit par les LLM et des modèles pensés pour amadouer les gens me préoccupent, et l'anthropomorphisation de plus en plus réaliste l'est également.

• C'est comme une reformulation de « garbage in, garbage out » : ça ressemble à un titre clickbait.

  • La règle GIGO (garbage in, garbage out) s'applique massivement tel quel à l'apprentissage des LLM. Les points à retenir dans cet article :
    • La qualité de pré-entraînement ne peut en aucun cas rattraper une post-correction insuffisante, par exemple, même si ça a l'air plausible sur le plan syntaxique, de mauvaises habitudes implicites comme l'omission du raisonnement peuvent déjà être ancrées.
    • Définir ce que sont les « mauvaises données » n'est pas un problème simple, et les heuristiques basées sur l'engagement utilisateur ont parfois mieux correspondu que la classification de contenu des LLM.
  • « Attention is all you need »
  • Imaginer ChatGPT envahi par des brain rot memes ou des memes internet comme « Skibidi Toilet » est plutôt drôle.
  • Qu'on juge bien ou mal les méthodes d'entraînement actuelles, la réalité est qu'on ingère des quantités massives de bric-à-brac et de bonnes données mélangées ; même si ça paraît évident, je pense que cette relecture est bien opportunément contextualisée.
  • Et en plus, il y a une phase postérieure qui s'ajoute.

• Utiliser des métaphores comme « brain rot », « thought-skipping », « primary lesion » ou « cognitive declines » dans un article de computer science n'est pas approprié ; en pratique la comparaison est non seulement imprécise, mais elle fait aussi courir le risque d'attribuer des caractéristiques humaines à un modèle informatique. Si la recherche se laisse contaminer par ces termes, cela pourrait rendre plus coûteuse leur élimination.

• Ce papier m'a fait me demander quel serait l'impact à long terme sur les enfants de la génération Alpha qui grandissent dans l'environnement médiatique.

  • Je me demande pourquoi on ne doit penser qu'aux enfants.