L’IA uniformise notre façon de penser

• Une étude du MIT montre une activité cérébrale relativement plus faible dans le groupe ayant utilisé ChatGPT
• L’usage de l’intelligence artificielle entraîne une baisse de la créativité et de la diversité, ainsi qu’une uniformisation des productions
• Une étude de Cornell confirme également que même l’écriture marquée par des différences culturelles et individuelles converge, avec l’usage de l’IA, vers une tendance occidentale et moyenne
• Les réponses moyennes et sûres proposées par l’IA contribuent à affaiblir la diversité culturelle et l’individualité
• Les effets à long terme de l’IA généralisée restent encore mal connus, mais la simplification et l’uniformisation de la pensée s’imposent comme une inquiétude majeure

---

Expérience et principaux constats

• En 2023, le MIT a mené une expérience de rédaction d’essais de type SAT auprès d’une cinquantaine d’étudiants de la région de Boston, répartis en trois groupes
  • Un groupe n’utilisait que son cerveau
  • Le deuxième pouvait utiliser Google Search
  • Le troisième rédigeait avec ChatGPT
• Tous les participants portaient un casque de mesure des ondes cérébrales et l’analyse a montré que le groupe utilisant ChatGPT présentait l’activité cérébrale la plus faible
  • Une diminution de la connectivité entre plusieurs zones du cerveau (ondes alpha et thêta) a été observée dans ce groupe
  • Certains utilisateurs ont montré un manque de sentiment d’appropriation vis-à-vis de leur essai, et la plupart étaient même incapables de citer ce qu’ils avaient écrit
  • Les chercheurs du MIT ont qualifié cela de coût cognitif lié à la dépendance à l’IA

L’IA provoque une pensée plus moyenne

• Les essais du groupe ayant utilisé ChatGPT ont montré une convergence vers des mots et des idées similaires
  • Malgré des prompts de type SAT conçus pour susciter des réponses ouvertes, le groupe utilisant l’IA a montré une logique et un vocabulaire uniformes
  • Par exemple, les réponses à la question du « vrai bonheur » étaient toutes centrées sur la carrière et la réussite, et l’« obligation morale de donner » ne recevait que des réponses favorables et stéréotypées
• Selon les mots du chercheur Kosmyna du MIT, on observe un phénomène où « tout est ramené vers la moyenne »

Affaiblissement de la diversité populaire et culturelle

• Des chercheurs de Cornell ont mené une expérience dans laquelle des utilisateurs américains et indiens écrivaient en reflétant leur propre contexte culturel
  • Certains utilisaient l’autocomplétion connectée à ChatGPT, d’autres non
  • Avec l’autocomplétion, les textes des participants convergeaient vers une tendance occidentale et moyenne et devenaient plus semblables entre eux
  • Pour des questions sur la nourriture ou les fêtes, pizza et Noël revenaient fréquemment, tandis que la différenciation locale était faible
  • Même le niveau de détail et l’atmosphère des essais se transformaient en formulations banales

Influence des suggestions des outils IA et affaiblissement de l’identité

• L’auteur explique que la fonction de suggestion de l’IA a un « effet hypnotique » qui affaiblit la voix propre de l’écrivain
  • Une exposition continue pourrait entraîner une perte de confiance en écriture et d’identité
  • Les suggestions de l’IA n’uniformisent pas seulement les idées de l’utilisateur, mais aussi sa manière de penser elle-même
  • En conséquence, cela pourrait aussi modifier la perception sociale de « ce qui est normal et souhaitable »

Moteurs industriels et standardisation culturelle

• OpenAI et d’autres développeurs d’IA conçoivent leurs systèmes pour qu’un plus grand nombre d’utilisateurs soit satisfait de résultats généraux et moyens
  • Plus un modèle produit des réponses acceptables pour tout le monde, plus il peut attirer d’utilisateurs payants
  • Du point de vue de l’efficacité, il devient possible de réaliser des économies d’échelle quand « tout est identique »

IA et créativité : limites expérimentales

• Le CEO d’OpenAI, Sam Altman, et d’autres affirment qu’avec l’IA, tout le monde peut devenir créateur

• Mais dans les expériences, le groupe utilisant l’IA a au contraire montré une tendance à produire des idées plus moyennes et plus semblables sur le plan de l’originalité

  • Une étude de l’université Santa Clara a comparé ChatGPT à un outil de créativité plus ancien, Oblique Strategies
  • Les utilisateurs de ChatGPT ont montré une similarité sémantique dans leurs idées, autrement dit une tendance à l’uniformisation

• Selon l’analyste expérimental Max Kreminski, la pensée brute de l’être humain est peu à peu attirée vers la moyenne de l’IA

  • À force de voir l’IA produire rapidement des « réponses suffisamment correctes », les utilisateurs se concentrent davantage sur la sélection des résultats de l’IA que sur leurs propres idées
  • Plus la conversation s’allonge, plus les limites de la fenêtre de contexte de l’IA renforcent des réponses répétitives et moyennes

IA généralisée et manque de diversité de l’information

• La plupart des recherches restent des expériences de petite taille, et les effets de long terme de l’IA demeurent encore inconnus
• Sur l’application IA de Meta, entre autres, d’énormes volumes de contenus excessivement fluides et uniformes produits par un grand nombre de personnes sont générés
  • Les e-mails automatiques et les demandes du quotidien regorgent de formats et de vocabulaires uniformisés
  • Même dans des exemples de prompts réels, l’IA n’énumère qu’un avenir positif tout en excluant les scénarios négatifs et les risques
  • Cela suggère que le biais technophile dans la conception de l’IA peut contribuer à réduire la diversité des résultats

Conclusion et perspectives

• Pour croire uniquement aux informations proposées par l’IA, il faut cesser de penser
• La nécessité d’une vigilance sociale et culturelle face à l’uniformisation de la pensée et à l’affaiblissement de la créativité provoqués par l’IA devient de plus en plus manifeste

[zihado]

J’ai l’impression qu’il y avait déjà un débat similaire quand Internet est apparu au début. Je pense que la capacité à développer son esprit critique n’est-elle pas encore plus importante ?

[mango]

Je pense que c’est sans doute mieux que d’absorber de fausses informations via les recherches sur Internet ou YouTube. À mon avis, c’est aussi préférable à l’acceptation d’informations biaisées dans le but de défendre les intérêts d’un groupe particulier. On peut certes dire que l’IA peut elle aussi être biaisée, mais je pense que son niveau moyen de fiabilité reste supérieur à celui des informations aléatoires qui circulent sur Internet. Et sur ce point aussi, c’est similaire : sans esprit critique, on peut finir par accepter des informations erronées.

[GN⁺]

Avis Hacker News

• J’ai l’impression que la véritable « fracture numérique » d’aujourd’hui dépend de plus en plus du fait d’avoir déjà développé, ou non, un esprit critique au cours des dernières années. Pour ceux qui ont construit cette capacité par des lectures variées et une réflexion patiente, des outils comme les LLM donnent l’impression d’avoir reçu les clés d’un jet-ski pour traverser une mer d’informations brutes. En revanche, pour ceux qui doivent justement apprendre à penser de manière critique maintenant, il semble difficile de surmonter l’effort de la réflexion sans se tourner machinalement vers les LLM. Le fait de supporter soi-même l’ambiguïté — ce moment où l’information se transforme en connaissance — est ici dissipé instantanément. Je me dis que j’ai de la chance d’avoir acquis cette capacité avant 2023, mais la réalité qui consiste à proposer les LLM sans réserve comme outils d’apprentissage aux jeunes générations me fait un peu peur

  • Je pense que le pessimisme selon lequel l’IA rend tout le monde stupide surestime en réalité le fait que, de toute façon, la plupart des gens n’ont jamais eu un grand sens critique. Après presque vingt ans dans l’ingénierie de haut niveau, les personnes qui comprennent vraiment des concepts complexes étaient rares, même parmi des experts accomplis. Le fait d’offrir des réponses faciles à une majorité de personnes qui ne raisonnaient déjà pas de manière critique ne devrait pas vraiment pénaliser les gens intelligents

  • Quand je repense à moi plus jeune, je me souviens que lorsque je ne poursuivais que le plaisir immédiat, je n’apprenais rien du tout

  • J’ai l’impression que l’ère d’Idiocracy approche

• Je pense que toute technologie de connexion est une force qui favorise l’homogénéité. La télévision, par exemple, est un cas emblématique de disparition des dialectes régionaux. Avec un divertissement, des loisirs et une connectivité illimités, on fabrique un monde triste, ennuyeux et solitaire

  • Je me demande sur quoi repose l’idée que les dialectes régionaux auraient disparu. En voyageant à travers les États-Unis, on entend encore des accents régionaux variés. J’ai de la famille dans l’Ouest, le Midwest, le Sud et l’Est, et chaque région garde un accent bien distinct. L’intensité varie, mais ils restent très perceptibles

  • Les réseaux sociaux ont déjà fortement homogénéisé notre manière de penser. Trop d’informations et de points de vue arrivent en même temps, au point qu’il devient plus facile de s’inspirer des idées des autres que de se forger soi-même une opinion. Le bouton d’upvote détermine très facilement ce que tout le monde est censé approuver

  • Je me demande ce qu’on devrait faire. Je me demande si des tentatives sérieuses comme l’Offline Club[https://www.theoffline-club.com/] peuvent servir d’antidote. Ce type de discussion a d’ailleurs circulé récemment sur Hacker News. Cette réflexion autour de la technologie dite du « grass touching »

  • Malgré tout, la diversité offerte par l’environnement géographique continue de façonner certaines expériences. Même si, bien sûr, l’un des objectifs des technologies actuelles est justement de compenser ou de neutraliser ces particularités géographiques

  • Dans le cas de l’IA, le problème est précisément de savoir qui gère cette homogénéité et dans quel but. Des systèmes dynamiques comme IRC ou les messageries permettent aux gens de se connecter naturellement et de former des groupes. Mais l’IA est un outil fermé, géré, créé par des capitalistes fortunés qui y injectent du capital ; il y a donc implicitement une homogénéisation destinée à protéger le modèle économique et à réduire les risques. La vraie menace, c’est que la réalité elle-même finisse par être « rédigée » selon un objectif déterminé

• À mon avis, les pensées ne deviennent homogènes que si l’on ne pense pas par soi-même. J’imagine que cela peut être une faiblesse pour beaucoup de gens

  • J’observe paradoxalement que les personnes du type « je fais mes propres recherches » tombent souvent dans les formes les plus sévères de pensée de groupe

  • Un grand nombre d’individus partageant des systèmes axiomatiques de structure similaire aboutissent à des conclusions semblables. Certains croient penser de manière autonome alors qu’ils appartiennent en réalité à un groupe idéologique donné. Il arrive que la force qui rend les pensées d’une communauté similaires soit très puissante. À l’inverse, certaines personnes adoptent une « stratégie de chasse au trésor » consistant à dénicher de nouvelles stratégies ou idées dans un espace de mèmes encore inconnu. Mais cette stratégie comporte des risques et exige des ressources permettant de multiplier les essais

  • Je suis d’accord avec l’idée que « si l’on ne pense pas par soi-même, on s’homogénéise », et je recommande de regarder au moins une fois comment des amis ou des membres de la famille non techniques, ou peu à l’aise avec la technologie, utilisent ChatGPT. Il y a en réalité pas mal de cas assez choquants. Des gens qui connaissent mal les outils LLM les utilisent d’une manière vraiment dangereuse. Par exemple, le beau-frère d’un ami a réellement investi après que ChatGPT lui a promis d’énormes rendements sur toutes sortes de penny stocks et de cryptomonnaies peu connues. D’autres en viennent à croire que ChatGPT transmet la voix de Dieu et passent à l’acte de façon absurde. Les LLM commerciaux fonctionnent de manière suffisamment plausible pour que ceux qui n’en comprennent pas le fonctionnement se laissent facilement berner. Pour ma part, j’ai développé une attitude sceptique parce que j’ai déjà vu des erreurs flagrantes dans les réponses des LLM, mais ceux qui ont du mal à porter un jugement objectif risquent fort de tout croire tel quel

• D’après une étude de Nataliya Kosmyna du MIT Media Lab, une expérience menée sur une cinquantaine d’étudiants de Boston répartis en trois groupes a montré que le groupe utilisant ChatGPT présentait une activité cérébrale nettement plus faible que les autres, en particulier dans les connexions alpha et thêta associées à la créativité et à la mémoire de travail. Mais je me demande si ce type d’étude fMRI avec un n aussi faible peut vraiment produire des résultats scientifiques fiables. Cela peut aussi relever d’un résultat tape-à-l’œil reposant sur un biais de confirmation

• En ce moment, les articles alarmistes exagérés sur la « catastrophe » uniformisent beaucoup trop la pensée des gens. Il y a certainement une part de vérité dans ces thèses, mais la réalité est bien plus nuancée

• Cela rappelle l’histoire des paniques médiatiques récurrentes, à travers les précédents changements technologiques liés aux médias comme la télévision, les réseaux sociaux ou l’imprimerie Article connexe

  • Les médias de masse homogénéisent nos entrées, c’est-à-dire notre consommation d’information. Si l’IA diffère des médias précédents, il faut aussi considérer qu’elle peut homogénéiser directement nos sorties, c’est-à-dire ce que nous produisons

  • Avant l’imprimerie, les habitants du monde menaient peut-être huit milliards de conversations différentes ; avec l’imprimerie, une multitude de petits groupes ont progressivement grandi et ont commencé à tenir les mêmes conversations à une échelle beaucoup plus large

• Les réseaux sociaux, la télévision, Hollywood et la culture populaire dans son ensemble jouent eux aussi un rôle d’homogénéisation de la société

• Le théorème central limite agit avec une remarquable constance

• En fin de compte, nous sommes destinés à nous hisser sur les épaules de géants homogénéisés

• Quand j’étudiais les lettres à l’université, je m’appuyais sur des articles universitaires pour copier-coller et relier des idées aux miennes, et je ne pense pas que ce soit fondamentalement très différent de ce que fait l’IA aujourd’hui. Au final, la question de savoir si l’IA devient ou non une prothèse intellectuelle dépend des critères et de la conscience de chacun