Ce n’est pas simplement X, c’est Y

• La tournure de contraste négatif "It’s not X, it’s Y", très appréciée des LLM, est à l’origine un procédé rhétorique utile pour poser un contraste et reformuler des hypothèses existantes
• Son usage excessif par les modèles l’a récemment fait étiqueter comme de la mauvaise écriture, mais la valeur d’un procédé rhétorique dépend du contenu qu’il porte
• Les détecteurs d’IA et des outils comme Grammarly traquent ce type de motif, provoquant le paradoxe d’obliger à réécrire humainement pour que la machine écrive comme un humain
• Parmi les causes de la diffusion de cette tournure, l’auteur pointe le RLVR (apprentissage par renforcement via récompenses vérifiées), lié au fait de renforcer le langage utilisé par le modèle lorsqu’il atteint la bonne réponse
• Si l’on prend les motifs linguistiques eux-mêmes comme objet d’évaluation, alors, comme avec la loi de Goodhart, le langage cesse d’être un bon langage ; il faut donc éviter de s’en remettre au jugement des machines et exercer son esprit critique

---

La tournure de contraste négatif et le rejet qu’elle suscite

• La structure de negative parallelism (contraste négatif) qui attire les LLM sert à installer un contraste et se révèle particulièrement utile pour reformuler une hypothèse, comme dans « vous pensez que c’est ceci, mais en réalité c’est cela »
• Cette tournure est omniprésente sur les réseaux sociaux, en particulier sur LinkedIn, et a déclenché un rejet dans le cadre de la guerre contre la production automatisée du langage
  • L’usage du tiret cadratin, des mots comme delve, quietly ou genuinely, ou encore les listes en trois points sont soupçonnés d’être des marqueurs de bot
• Son surusage par les modèles récents a conduit beaucoup de monde à la qualifier de mauvaise écriture, alors que la phrase de JFK « ne demandez pas ce que votre pays peut faire pour vous, demandez ce que vous pouvez faire pour votre pays » relève du même procédé, sans que personne n’y voie une écriture paresseuse
  • Un procédé rhétorique n’est paresseux ou inspiré qu’en fonction de ce qu’il exprime

Le paradoxe de la production automatique du langage et des outils de détection

• Les détecteurs d’IA prétendent repérer ce type de motif pour protéger d’une chasse aux sorcières, mais si l’on soumet son propre texte à Grammarly, l’outil analyse justement les motifs de mots que les détecteurs d’IA signaleraient pour proposer des réécritures
  • Cela revient à donner à Grammarly le pouvoir d’écrire à sa place, au prix du rythme et de l’intention du texte
• Dans une section, Grammarly signale 27 expressions à corriger
  • « automated language production » est présenté comme 11 fois plus susceptible d’être de l’IA, avec la suggestion de le remplacer par « against mechanized language synthesis »
  • « align with » est présenté comme 43 fois plus susceptible d’être généré par IA, avec l’idée qu’un humain écrirait plutôt « corresponds »
  • De petites suggestions s’accumulent jusqu’à produire un texte que l’auteur n’a pas choisi ; la machine qui veut sonner humaine finit par remplacer la voix humaine
• L’auteur a aussi payé 20 dollars à une autre société de détection, Pangram, pour vérifier avant soumission qu’un article n’était pas généré par IA
  • Non pas pour savoir s’il l’avait écrit ou non, mais pour recevoir l’assurance qu’il ne serait pas signalé, ce qu’il qualifie en pratique d’extorsion
  • Pangram classe l’authenticité en quatre niveaux : high, very likely, somewhat likely et human

Une culture hostile au raisonnement et le post-training

• Le réflexe qui consiste à vouloir comprendre les machines en examinant leurs données d’entraînement est naturel, mais ces données ne sont plus simplement « le Web » : le Web n’est plus qu’une matière première lourdement transformée
• Le post-training sert à optimiser les modèles en fonction de leur finalité
  • RLHF (apprentissage par renforcement à partir de retours humains) : des humains classent les réponses, et le système met davantage en avant ce type de réponses
  • RLVR (apprentissage par renforcement via récompenses vérifiées) : plus étrange, et soupçonné d’expliquer la fréquence de la tournure « It’s not X, it’s Y »
• Balayer ce langage comme paresseux empêche de comprendre pourquoi il apparaît partout et conduit à prendre un cadre linguistique puissant pour la pensée pour une capacité de pensée propre au modèle
  • Autrement dit, on attribue au calcul ce que le langage a accompli

Comment fonctionne le RLVR

• Le RLVR n’est pas une structure qui surveille les mots pour déclencher des sous-processus ; comme un modèle généraliste, il est entraîné puis prédit des tokens
  • La prédiction de tokens consiste à établir une liste de candidats selon la distribution mathématique des données d’entraînement, puis à les classer selon leur probabilité au regard des mots précédents
• Le RLVR fait écrire au modèle le cheminement suivi pour résoudre un problème de maths, reproduisant le type de langage que nous utilisons quand nous réfléchissons à voix haute
  • Lorsque la bonne réponse est atteinte, le langage le plus fréquemment employé pendant ce processus est renforcé dans le modèle final ; c’est une partie de ce que l’industrie appelle le reasoning (raisonnement)

• L’analogie du « chien bizarre »

  • Imaginons un téléphone éteint et un ami qui demande : « C’était quel jour, déjà, qu’on a vu ce chien bizarre ? »
    • « C’était jeudi. » → l’ami : « Non, jeudi j’étais en déplacement. » → « Alors mercredi, on l’a vu en allant à l’anniversaire de ton ami. » → l’ami : « Oui, mais la fête était vendredi, donc on l’a vu vendredi. »
  • Les deux personnes arrivent par le langage à une bonne réponse vérifiable par des photos ; la première intuition (« jeudi ») correspond au premier essai où le modèle s’arrêtait auparavant
  • Contrairement à deux personnes dotées de souvenirs et d’expériences réels, le modèle prolonge progressivement le langage pour reproduire un motif de raisonnement ; il ne réfléchit pas à travers le langage, il rejoue la délibération à l’intérieur du langage
• Des mots à haute entropie (high-entropy) comme « suppose… », « because », « consider », « alternatively » ou « wait » déclenchent des formulations spéculatives plus longues
  • Ils mènent à un langage qui introduit contraste, exception et abstraction, et sont renforcés lorsqu’ils conduisent plus souvent à la bonne réponse dans des problèmes de maths

Pourquoi nous raisonnons

• Dans une conversation comme celle du « chien bizarre », l’enjeu n’est pas d’identifier une date sur un calendrier, mais d’ouvrir le souvenir, de reconstruire la mémoire, de savourer le contexte et d’approfondir le lien entre amis
• La définition du raisonnement utilisée avec les LLM suppose que l’intérêt d’une question est d’obtenir une réponse, que cette réponse est vérifiable et qu’il n’y a rien à perdre à une clôture immédiate
  • Cela a des effets réels sur l’écriture : quand on prototype rapidement sa pensée avec un modèle de langage, on perd l’ouverture au doute
  • L’ambiguïté, le doute et l’incertitude sont parfois plus importants qu’une réponse immédiate dans certaines façons de penser
• L’auteur se demande si les détecteurs d’IA marquent un texte comme généré par IA parce qu’il suit les motifs structurels du raisonnement : Pangram comme les modèles de raisonnement détectent tous deux des motifs structurels que les humains utilisent quand ils écrivent en raisonnant
  • Le modèle de Pangram a été entraîné sur des données antérieures à 2021, puis sur des versions générées par IA des mêmes textes
• Si l’on humilie publiquement quelqu’un parce que son texte « ressemble à une machine », les gens finiront, par peur, par éviter les structures qu’ils ont intériorisées comme relevant de « l’écriture IA », ce qui envoie le signal que le langage du raisonnement doit être surveillé
  • Au final, cela nous détourne des structures que les modèles ont apprises de nous, c’est-à-dire des outils efficaces pour argumenter, et nous pousse à les ranger précisément au moment où nous avons le plus besoin d’outils de pensée critique

Quand la mesure devient l’objectif

• Au Royaume-Uni, un outil d’évaluation de dissertations fondé sur l’IA a été testé face à des correcteurs humains
  • Le système attribuait de meilleures notes en fonction de la longueur des dissertations, de l’étendue du vocabulaire et de la complexité des phrases, souvent sans lien avec les critères académiques
  • Ces caractéristiques ressemblent aux traits du raisonnement IA proche du RLVR : des LLM notent des humains selon les critères que des ingénieurs utilisent pour évaluer des LLM
• En économie, la loi de Goodhart dit qu’« une régularité statistique observée tend à s’effondrer lorsqu’elle subit une pression à des fins de contrôle » ; autrement dit, quand une mesure devient l’objectif, elle cesse d’être une bonne mesure
  • Appliquée aux LLM : « quand la mesure du langage devient l’objectif, il cesse d’être du bon langage »
• Évaluer des motifs linguistiques plutôt que le contenu est dangereux, et aussi bien la génération que la détection encouragent cela ; la notation automatique se situe entre les deux
  • Récompenser non pas l’acte de raisonner mais sa forme le rend plus séduisant et plus fréquent ; punir la forme risque de punir le raisonnement lui-même ; il ne faut donc pas s’en remettre au jugement des machines et il faut, dans tous les cas, penser de manière critique

Contre la pensée automatisée

• L’auteur n’adhère pas à la vieille logique du « si vous n’avez rien fait de mal, vous n’avez rien à craindre »
  • Depuis 2018, on cite un taux de 99,8 % de précision pour les systèmes automatisés de surveillance, mais selon Arvind Narayanan, ce chiffre se cumule à chaque usage à l’échelle d’un article
  • Il en résulte que jusqu’à 10 % des étudiants pourraient être accusés à tort ; si tous les textes passent par un contrôle IA, les faux positifs se produiront à une échelle bien plus grande
• Ces modèles concentrent un pouvoir réel, et les entreprises promettent de raisonner à notre place
  • Lorsqu’on envoie un slogan de deux lignes dans un interpréteur IA, qu’on publie le résultat en ligne et qu’on dit « regardez, c’est un plagiaire », on normalise quelque chose de dangereux
• La culture de la réécriture et de l’autocensure sous la pression de la détection IA est l’exact opposé de la protection de l’expression humaine ; il faut résister à la normalisation de la confiance dans la capacité des machines à déclarer quelqu’un coupable
  • Si écrire avec l’IA est, dans le pire des cas, une industrialisation de l’esprit, alors la détection IA devient, dans le pire des cas, un système de surveillance de la pensée

[GN⁺]

Commentaires sur Lobste.rs

• Si un article est automatiquement rejeté simplement parce qu’un système automatisé l’a jugé semblable à de l’IA, ce serait cauchemardesque, et heureusement je n’ai pas ce genre de problème dans mon travail
  J’ai bien aimé l’idée que le langage du raisonnement ne se contente pas de rendre la sortie d’un LLM fluide et persuasive, mais la fait fonctionner tout court, ou au moins mieux fonctionner. Ce type de technique marche aussi très bien sur les humains, d’où l’efficacité de méthodes comme les 5 pourquoi
  En revanche, je pense qu’il faut toujours savoir repérer les textes paresseux et de mauvaise qualité. On peut le faire sans se focaliser uniquement sur la structure ou les procédés de style. En général, je commence à lire avec bienveillance, et si après quelques paragraphes j’ai encore du mal à cerner l’idée centrale de l’auteur, je commence alors à chercher les signaux typiques, et j’en trouve assez souvent

• Texte intéressant, mais en pratique je distinguerais le texte de raisonnement servant à réfléchir à quelque chose, du texte finalisé écrit une fois ce raisonnement terminé pour être communiqué
  Dans l’exemple, on peut dire pendant la réflexion « ce n’était pas jeudi, c’était mercredi », mais quand on écrit un message à quelqu’un, on finit simplement par écrire « c’était jeudi »
  Donc, dans le monde académique ou au travail, les rapports ou e-mails qui constituent le livrable réel n’emploieront pas le langage utilisé pour raisonner sur le sujet, et s’ils sont bien rédigés ils ne devraient pas avoir l’air de venir d’un LLM. Un brouillon ou des notes personnelles, peut-être, mais pas l’envoi final

  • Mais que se passe-t-il si le livrable officiel est lui-même le processus de raisonnement ? J’ai écrit à plusieurs reprises des documents dont le processus de raisonnement constituait une partie essentielle, voire la totalité, du texte

• Je suis plutôt très critique envers l’IA générative, mais je pense qu’elle peut être utile en écriture académique pour aider des chercheurs non natifs à peaufiner leur texte
  Cela dit, il faut déjà disposer d’un brouillon presque terminé et bien structuré ; si on lui donne seulement quelques puces, on obtient des hallucinations ou des formulations raides et peu naturelles
  Comme j’ai évalué beaucoup d’articles médiocres ces dernières années, notamment venant de pays comme la Chine ou l’Inde, je sens aussi que j’ai développé un certain biais envers des tournures idiomatiques d’anglais non natif souvent utilisées par des auteurs de ces pays. Ce qui est regrettable, c’est que certains des meilleurs articles que j’ai relus venaient aussi de ces pays
  En ce sens, puisque l’anglais est devenu la langue standard du monde académique, les LLM peuvent aussi aider à standardiser un niveau de langue élevé et à réduire les biais dans le processus d’évaluation

  • Je n’accepte pas du tout l’argument selon lequel les locuteurs non natifs de l’anglais pourraient utiliser un LLM pour peaufiner leur texte. Un article doit être précis et refléter fidèlement l’intention de son auteur
    Dans les institutions où beaucoup d’employés ne sont pas anglophones natifs, il y a généralement des personnes chargées du conseil en rédaction : elles produisent non seulement de bonnes phrases, mais surtout vérifient que ce qui est écrit correspond bien à l’intention de l’auteur. Si l’on confie cela à un LLM, le sens peut subtilement changer et, à cause d’erreurs factuelles ou de formulations imprécises, cela peut au final nuire davantage à l’auteur
    Les institutions qui ne fournissent pas ce type d’accompagnement créent un environnement défavorable pour leur personnel, et les chercheurs indépendants sont souvent déjà désavantagés pour d’autres raisons
    Un biais inconscient envers certaines tournures propres aux non-natifs est difficile à éviter complètement, mais lors de l’évaluation d’articles, si les problèmes de langue étaient manifestes, j’accordais généralement une marge importante de bonne foi et laissais en commentaire les passages qui me semblaient peu clairs à cause de la langue pour demander des corrections. C’est quelque chose qu’il faut surveiller et contrôler soi-même
    Une maîtrise maladroite de la langue peut brouiller dans une certaine mesure les idées, la méthodologie et les résultats, mais un LLM peut, comme je l’ai vu dans des articles que j’ai évalués, les déformer en contenu factuellement faux, ce qui finit par exiger réfutation et correction, ou peut entraîner un rejet immédiat de l’article. Il existe de meilleures façons de traiter ce problème, donc il ne faut pas recommander l’usage des LLM
    En outre, la question de savoir si cela relève ou non du plagiat reste ouverte. C’est un débat bien plus vaste, et il n’y a souvent même pas de consensus sur les faits de base. Certaines conférences ou revues interdisent l’assistance des LLM pour cette raison, et il faut aussi respecter ces règles
  • Le problème plus large, c’est qu’à cause de l’hystérie actuelle autour du fait de savoir si un texte a été écrit ou non par un LLM, on force pratiquement les gens à éviter un style naturel
    Ironiquement, les entreprises n’ont pas perdu de temps pour monétiser cette hystérie : elles gagnent de l’argent en utilisant des LLM pour déterminer si un texte a bien été écrit par un humain, et se sont érigées en arbitres de ce qui constitue une écriture acceptable
    L’auteur a raison de dire que tout ce problème disparaîtrait si les gens arrêtaient de juger paresseusement sur le seul style et commençaient à s’intéresser sérieusement au contenu