Diverses odeurs de LLM

• L’écriture assistée par LLM améliorait au départ le vocabulaire et la structure des phrases, sans donner l’impression d’un texte IA de mauvaise qualité, mais quelques mois plus tard les mêmes traces ont commencé à se répéter sur l’ensemble d’Internet
• Dans l’écriture, on voit souvent des phrases à conclusion forte et des séries de phrases courtes, avec des formulations compactes et péremptoires comme « Symmetry becomes a trap. » qui reviennent comme motif récurrent
• La structure « X is the Y of Z » ainsi que des formulations en contraste proches de « non seulement X mais Y » font aussi partie des odeurs de phrase reconnaissables dans les textes produits par LLM
• Sur les sites web générés par IA, la police JetBrains Mono, les sections en étapes, des puces similaires, ainsi que le point clignotant de certains boutons, cartes et badges reviennent de façon répétée
• L’essentiel n’est pas de s’opposer à l’usage de LLM/IA dans la création, mais d’observer et de rassembler les motifs qui reviennent de manière répétée dans l’écriture et les sites web

---

Les odeurs récurrentes dans l’usage des LLM

• Lorsqu’il a utilisé un LLM à la fin de l’an dernier pour retravailler un billet de blog de mathématiques, le vocabulaire et la structure des phrases s’étaient améliorés sans donner l’impression d’un texte IA de mauvaise qualité
• Environ trois mois plus tard, les mêmes structures de phrase ont commencé à apparaître de manière répétée sur l’ensemble d’Internet, au point de ressembler à des traces reconnaissables dans tout le travail assisté par IA
• Les exemples du fil HN montrent ces « odeurs d’IA » récurrentes dans deux domaines : l’écriture et les sites web

Motifs récurrents observés dans l’écriture et les sites web

• Écriture LLM

  • Des phrases à conclusion forte apparaissent beaucoup trop souvent
    • « Humans trust symmetry because it feels like intelligence made visible. »
    • « The Tiger fit the story. Jin-yong fit the physics. »
    • « Symmetry becomes a trap. »
  • Des séries de phrases courtes sont utilisées de façon répétée
    • « Yet the tilt is not an accident. It is the shape of the optimum. »
    • « Then AlphaEvolve arrived. It had no preference for symmetry. No aesthetic prior. No instinct to preserve harmony. »
    • « These examples are not decorative. They form a distributed argument. »
  • La structure de phrase « X is the Y of Z » revient fréquemment
    • « Cringe is the visible signature of moving along a gradient you chose. »
  • Des formulations en contraste proches de « non seulement X mais Y » reviennent aussi souvent
    • « solutions that do not merely satisfy the constraint but satisfy the aesthetic instincts »

• Sites web générés par IA

  • La police JetBrains Mono revient fréquemment
  • Des sections en « step » utilisant la même police et des puces similaires apparaissent sur plusieurs pages web
  • Certaines formes de boutons, de cartes, ainsi que le point clignotant dans les badges, semblent aussi être des éléments récurrents des sites générés par IA

• Point d’attention

  • Il ne s’agit pas de s’opposer à l’usage des LLM/IA dans le travail créatif, mais plutôt d’une observation qui rassemble des motifs détectés de façon répétée

[GN⁺]

Avis sur Hacker News

• Les LLM ont tendance à paraître particulièrement bons quand ils font des choses que je suis incapable de faire. Si, dans un domaine précis, j’ai l’impression que la sortie d’un LLM est bien meilleure que ce que je pourrais produire, il y a de fortes chances que je n’aie pas les compétences nécessaires pour en juger correctement la qualité

  • Cela s’applique aussi parfaitement au code, et ça explique en partie pourquoi les avis sur la qualité du code généré par les LLM sont aussi polarisés sur HN
    D’un côté, certains disent : « l’IA produit un code que je serais incapable d’écrire, boucle en une fois un travail qui m’aurait pris des jours, et multiplie ma productivité par 10 ». De l’autre : « l’IA continue de produire un code médiocre, qui demande d’être refait, fait des erreurs et doit être surveillée, et au final me fait perdre du temps ». Si la sortie d’un même produit est perçue de façon aussi différente, il y a une mauvaise nouvelle pour le premier camp
  • J’arrive plus ou moins à gagner ma vie avec l’écriture, et je trouve la prose de Claude franchement atroce, au point de me donner la nausée
    À l’inverse, je n’écris quasiment jamais de code et je ne l’ai fait professionnellement qu’une seule fois, mais quand Claude crache du code en quelques secondes, j’ai l’impression d’être un surhomme et de devenir bientôt milliardaire. Puis je me rappelle que Claude n’est même pas capable d’écrire un texte supportable, et que moi, je sais écrire mais pas coder ; alors j’efface le code et je retourne à des activités plus rentables
  • Je suis d’accord avec cette possibilité, mais les modèles de pointe actuels ne sont pas totalement inutiles même pour écrire sur des sujets que je connais plutôt bien
    Je n’aurais sans doute pas dit ça il y a un an. Il faut toujours les surveiller comme le lait sur le feu, parce qu’ils débitent des absurdités plausibles qu’un expert peut avoir du mal à repérer, mais les dés internes penchent de plus en plus du côté du juste et de l’utile plutôt que du faux et de l’inutile
  • Franchement, j’ai du mal à comprendre qu’on puisse trouver l’écriture des LLM ne serait-ce qu’un peu passable. Si c’est votre cas, il faut lire davantage de livres
    Un livre par mois, ce n’est même pas un objectif ambitieux. Pas besoin d’aller jusqu’à Melville, Hemingway, Chaucer ou Shakespeare : prenez n’importe quel best-seller du NYT, ce sera déjà bien meilleur que tout ce qu’un LLM peut générer
  • Je ne suis pas d’accord avec l’idée que les LLM ont l’air bons parce qu’ils font des choses que je ne sais pas faire. Ils sont surtout très forts pour faire croire qu’il n’existe qu’une seule forme de bonne écriture
    Les LLM privilégient un style codifié, façon « manuel scolaire / documentation technique », sans doute parce que c’est ce qui est le plus utile aux humains. Mais l’écriture humaine ne consiste pas seulement à produire les phrases les plus élégantes ; parfois, un grand texte peut ressembler à un mème de chiot comme celui-ci : https://knowyourmeme.com/photos/2160304-the-winner-of-this-c...

• Des expressions comme « honest caveat: », « genuine caveat: », « honest answer: », « The thing to internalize: », « The smoking gun: » donnent fortement une impression de LLM
  C’est particulièrement vrai pour les phrases qui commencent par « The ___: », pour l’emploi de « load bearing » hors contexte architectural, de « blast radius » hors contexte d’explosion réelle, de « smoke test » là où « sanity check » serait plus juste, pour les listes de trois éléments dont le troisième n’est qu’une combinaison des deux premiers, pour l’usage métaphorique de « shape » pour parler des choses, pour les posts sociaux qui se terminent par « Curious if anyone… », ou encore pour les anecdotes qui utilisent « Oh. Oh. », avec le deuxième Oh en italique
  Une partie de ces termes est réellement utilisée par les développeurs, mais leur fréquence d’usage réelle mérite d’être examinée, et on retrouve encore ces traces dans la prose des modèles récents

  • Comme ces idiotismes de LLM sont consommés tous les jours, ils vont inévitablement entrer dans le langage courant de la génération suivante, et même de la génération actuelle. Ça risque de devenir insupportable
  • Si tu parles de « load bearing » et « blast radius », je les voyais très souvent dans les discussions en ligne avant les LLM, et je les utilisais moi-même souvent
    Load bearing en particulier était une expression assez banale dans les conversations quotidiennes côté ops. En revanche, je n’ai jamais vu « smoke test » utilisé dans la vraie vie
  • J’ai demandé à GPT d’enquêter sur les tournures façon Claude 4.7 : https://chatgpt.com/share/6a18e3b4-1308-832a-9263-bed823de3f...
    Les motifs recensés par Wikipedia sont aussi bien documentés : https://en.wikipedia.org/wiki/Wikipedia:Signs_of_AI_writing
  • Le plus drôle parmi les expressions qui reviennent régulièrement, c’est belt-and-suspenders / belt-and-braces, alors que je n’ai jamais vu une vraie personne l’employer. Ça me tape tellement sur les nerfs que j’ai dû demander à l’IA d’arrêter de l’utiliser
  • Personnellement, celle qui m’agace le plus, c’est « escape hatch »
    Tout devient une escape hatch. Un try/catch, c’est une escape hatch ; un flag CLI, c’est une escape hatch. Ça n’a aucun sens, et ça a fini dans mon fichier Markdown « mots et expressions interdits »

• L’uniformité de l’écriture par LLM est mauvaise. Utiliser un LLM pour aider à écrire, c’est bien, mais il vaut mieux éviter de mettre dans le texte final les mots générés par le LLM, même après un simple ajustement lexical
  En revanche, lui faire critiquer la structure et le déroulé, repérer les mots trop répétés, la voix passive et les phrases d’introduction maladroites, c’est utile. Ce genre de chose améliore objectivement le texte sans en ruiner le style
  À l’inverse, l’uniformité des LLM en web design est plutôt une bonne chose. La plupart des sites n’ont pas besoin de chercher à être originaux. Pour un site pratique, un bon design, c’est avant tout la lisibilité, et les LLM s’en sortent mieux que le développeur moyen. Réutiliser la même disposition de boutons et la même hiérarchie de tailles de police, ce n’est pas un problème. Si ça me semble beau, il y a de fortes chances que ce soit meilleur que ce que j’aurais fait seul, et que seul j’aurais probablement fait pire

  • Ce qui m’agace avec le web design par LLM, c’est qu’il ajoute partout plein d’éléments inutiles
    GPT-5.x est particulièrement coupable. Par exemple, si on lui fait créer un dashboard, il dissémine partout quantité de chiffres et de fragments de texte, dont la plupart ne font que répéter la même chose deux fois. Cela dit, ce n’est sans doute pas un problème fondamental de structure, plutôt quelque chose qui sera vite corrigé, et on peut probablement obtenir de bons résultats en préparant d’abord tous les textes avant de construire le site
  • J’utilise Claude pour faire mon nouveau site personnel, et c’est appréciable de pouvoir lui dire « je veux un joli menu avec des liens vers les autres pages » et d’obtenir quelque chose de tout à fait correct
    Pour l’écriture, en revanche, utiliser des LLM me paraît très étrange. Remplir des formulaires idiots est peut-être une exception. J’ai vu des collaborateurs utiliser des LLM pour de la documentation technique, et c’était presque toujours un quasi-charabia qui n’avait que l’esthétique d’un texte juste. En écriture créative, si on utilise beaucoup les LLM, on a l’impression que l’objectif même disparaît
  • Que ce soit avec les LLM ou avec les SaaS de solo founder, je ne pense pas qu’on puisse vraiment dire que l’uniformité est une bonne chose en web design
  • J’utilise les LLM comme un moteur de recherche de métaphores et comme un dictionnaire avancé. Tous les mots restent de moi, mais ça m’aide à améliorer mon anglais et à trouver des expressions que je ne connais pas bien
    Je ne l’ai pas encore utilisé pour relire mes textes, donc je me demande si c’est vraiment aussi bien
  • Tout à fait d’accord. J’ai récemment écrit un discours, et je n’ose même pas imaginer à quel point il aurait été banal si j’avais repris des phrases de LLM comme si c’étaient les miennes
    Quand j’imagine quelqu’un écrire un texte important pour, ou au sujet de, quelqu’un qu’il aime, tout en y glissant des formulations mièvres suggérées ici et là, j’ai honte à sa place. C’est du pur non-sens, et un immense signal envoyé au public qu’on ne tient même pas assez à ses propres mots pour les apporter soi-même

• Il ne faut pas oublier non plus la négation par contraste
  C’est une structure rhétorique qui nie une idée dans la première partie de la phrase pour affirmer une alternative dans la seconde. En général, cela prend la forme « pas X mais Y » ou « pas simplement X, mais Y »
  Il y a aussi sur Wikipedia une bonne ressource sur les motifs courants de l’écriture LLM : https://en.wikipedia.org/wiki/Wikipedia:Signs_of_AI_writing

  • Comme quelqu’un dont les écrits sont souvent faussement détectés comme de l’IA, j’apprécie la clause de non-responsabilité au début de ce document
    J’aime particulièrement l’idée que ces motifs ne sont pas un problème en eux-mêmes. Il ne suffit pas de corriger les motifs ; le vrai problème, c’est qu’ils signalent souvent un contenu écrit à la va-vite ou sans soin
  • C’est déjà dans le billet
  • Combien de temps faudra-t-il avant que les LLM soient entraînés à éviter les motifs de cette page wiki

• Des structures comme « No ___, no ____. Just _____ » ou le fait d’utiliser « honest » pour décrire une approche, ça se repère aussi

  • « honest », « straight », « genuine », « actual », « real » me donnent tous l’impression de mots qui servent à recouvrir une affirmation faible
    C’est devenu tellement excessif que je réfléchis à un hook où un sous-agent insérerait une vérification des faits du style « tu en es vraiment sûr ? ». La fausse distinction « pas X mais Y » fonctionne un peu pareil. Par exemple, ces pseudo-citoyens souverains qui disent « ce n’est pas conduire, c’est se déplacer en voiture »
  • Pour moi, ce motif, c’est du jab, jab, thrust. Si vous préférez, appelez ça « tap tap whack »
    Ça apparaît aussi sous forme affirmative. Des trucs du genre « Smooth. Effortless. A perfect fit for your needs. » On dirait qu’en écriture informelle ou persuasive, ça revient sans cesse comme s’il fallait marteler le point clé
    C’est un peu dommage qu’on parle aussi publiquement de ce genre de signes. C’était agréable de pouvoir les repérer avec une certaine précision, mais ça ne pouvait probablement pas durer éternellement
  • C’était déjà un cliché marketing fatigant bien avant les LLM, et les modèles l’ont sans doute simplement récupéré dans leurs données d’entraînement
  • Il ne faut pas oublier non plus « the uncomfortable truth »

• Ce qui est intéressant, c’est que je n’ai pas l’impression que le style des LLM se soit beaucoup amélioré récemment
  Il avait déjà atteint un niveau « correct » il y a quelque temps, mais les derniers modèles n’ont pas apporté d’amélioration au point d’être préférables à des auteurs humains spécialisés. Je me demande si, à mesure qu’on poursuit la superintelligence, d’autres domaines vont évoluer de la même façon

• Désormais, dans la plupart des textes — billets de blog, messages Slack, etc. — j’ai envie de voir une écriture plus brute, humaine, même avec quelques fautes d’orthographe ou de grammaire
  Les LLM sont excellents pour générer des idées, écrire du code, et peut-être polir un texte, mais j’aimerais vraiment qu’on évite de leur faire écrire l’intégralité d’un texte. Pour ce genre d’écrit, je préfère entendre ce que vous, vous avez à dire, pas l’IA

  • Je le formule ainsi : si vous n’avez pas envie de faire l’effort de l’écrire vous-même, personne n’a de raison d’avoir envie de le lire

• Si vous pouvez utiliser Claude au travail et que ça ne pose pas de problème de lui montrer vos e-mails, ça peut valoir le coup d’essayer quelque chose comme : « lis tous les e-mails que j’ai envoyés et crée une compétence capable de rédiger des brouillons d’e-mails avec ma voix »
  Même sans utiliser réellement cette compétence, c’est amusant de lire le fichier de compétence généré. Ça donne l’étrange impression de demander à Claude : « qui suis-je ? »
  Je ne l’ai pas essayé avec des messages Slack, et ça me fait un peu peur de lire le résultat. Mais le même principe devrait s’appliquer
  Il y a quelques personnes dans mon entreprise qui utilisent activement Claude pour écrire leurs messages Slack, et c’est très visible : un jour elles écrivaient un anglais à peine compréhensible sur plusieurs messages, et le lendemain elles envoyaient soudain en un seul message une prose parfaitement cohérente

  • J’ai résumé les logs de chat Discord de mes amis pour leur donner un ton de review de match de League of Legends. Exemple ici : https://github.com/shepherdjerred/monorepo/blob/main/package...
    En pratique, ça marche plutôt bien

• Faire défiler le fil LinkedIn ces jours-ci est assez drôle
  Ma préférée aujourd’hui, c’était : « Le problème, ce n’est pas les impôts. C’est l’état d’esprit. »

  • Le kool-aid façon LinkedIn existait déjà bien avant l’arrivée des LLM

• En voyant parler de la police « JetBrains Mono », je m’attendais naturellement à voir arriver des critiques sur la surutilisation d’Inter. Cela dit, JetBrains Mono est quand même une superbe police.

  • Comme les pièges dans lesquels tombent les partis politiques, j’ai peur qu’on en vienne à considérer que tout ce qu’imagine le camp d’en face est mauvais par définition.
    Si JetBrains Mono convient au travail, il faut l’utiliser ; il n’y a pas besoin de l’éviter juste parce que l’IA l’emploie souvent.
  • Petite digression, mais si son nom est JetBrains Mono, est-ce que c’est une propriété intellectuelle de JetBrains ?
    Je me demande si c’est légalement acceptable de l’utiliser sur n’importe quel site web.
  • Ça fait un peu mal au cœur.
  • C’est une police que j’utilise tous les jours, donc en voyant cette liste j’ai eu un petit mouvement de recul. Comme je l’utilisais déjà, j’imagine que je ne m’en étais pas rendu compte.