J’ai supprimé mon billet sur nix flakes vs guix

• Le billet de blog personnel qui récapitulait la correspondance entre Nix flakes et Guix a été supprimé après des soupçons d’usage de LLM
• Le billet est né de la curiosité et, sans être exhaustif, a demandé beaucoup de recherches ; c’était un travail dont l’auteur était assez fier pour le partager avec ses amis
• Après avoir été partagé dans des salons Matrix, le billet s’est retrouvé en page d’accueil de lobste.rs, et un toot du fondateur de Guix, Ludovic Courtès, a été boosté 12 fois
• Une modification JavaScript appliquée au dernier moment a cassé le site sur mobile, empêchant les lecteurs de lire l’article ; le problème a été corrigé dès qu’il a été détecté, mais le mécontentement était déjà installé
• Au début de la critique d’Andrew Tropin, des soupçons de rédaction par LLM ont été évoqués, et plus que les critiques techniques, c’est le fait que son propre texte ait été perçu comme faux qui a conduit à la suppression du billet

---

Contexte de la suppression du billet

• Le billet « nix flakes and their guix equivalents » a été supprimé, et l’auteur ne veut pas qu’on pense que la raison est que « l’usage d’un LLM a été découvert »
• Ce billet a été écrit par curiosité, pour mieux comprendre quelque chose ; l’auteur reconnaît que la quantité de recherches n’était pas suffisante, mais qu’il y en a tout de même eu beaucoup
• Si le billet a été partagé avec des amis, c’est parce que l’auteur le trouvait lui-même intéressant et pensait qu’eux aussi pourraient le trouver ainsi
• Juste avant d’aller dormir, l’auteur a posté le billet dans quelques salons Matrix, puis a constaté qu’il était monté en page d’accueil de lobste.rs
  • Il n’aurait jamais imaginé qu’un ancien billet de blog dépasserait trois personnes intéressées
  • Le fondateur de Guix, Ludovic Courtès, a publié un toot, qui a reçu 12 boosts

Critiques et décision de suppression

• Une modification JavaScript appliquée à la dernière minute a cassé la version mobile du site, si bien que les gens ne pouvaient pas lire le billet
  • Le problème a été corrigé dès qu’il a été identifié, mais entre-temps les lecteurs étaient déjà frustrés
  • L’auteur estime qu’on ne peut pas leur en vouloir pour cette frustration
• Le lendemain, après le travail, un ami a partagé le lien vers la critique du billet d’Andrew Tropin
  • Andrew Tropin est perçu comme quelqu’un dont le travail inspire le respect
  • L’auteur a ouvert le lien en s’attendant à une critique intéressante, mais dès le troisième paragraphe, Andrew évoquait la possibilité que le texte ait été écrit par un LLM
• L’auteur n’a rien contre les critiques techniques en elles-mêmes et accueille volontiers celles de personnes aussi compétentes qu’Andrew
  • Ce qui l’a brisé n’est pas la critique technique, mais le soupçon de ne pas avoir écrit lui-même ses phrases
  • Plus encore que les points techniques ou les corrections, c’est le fait d’avoir été soupçonné d’être factice qui l’a le plus atteint
• L’auteur ne peut pas répondre pour l’instant aux remarques techniques d’Andrew
  • Il est émotionnellement trop bouleversé pour traiter correctement ces critiques
  • Il reconnaît qu’elles peuvent être valables et exactes, mais n’a pas le cœur à y répondre pour le moment
• Beaucoup d’efforts ont aussi été investis dans l’infrastructure du site
  • Pour le flux, l’auteur a créé ox-atom, et pour communiquer avec Neocities, neocities.el
  • Il a écrit lui-même le CSS et le JavaScript ; le motif d’arrière-plan contient des chats, et les en-têtes de section ont de petites étincelles
  • Le postamble contient ~ meow ~
• Le fait que le texte, pourtant la partie la plus importante du blog, soit soupçonné de sonner comme s’il venait d’une « Markov chain plus sophistiquée » a été vécu comme quelque chose de dévastateur
• L’auteur n’a pas utilisé de LLM, mais ne peut pas prouver le contraire, et est trop épuisé pour essayer, d’où la suppression du billet

[GN⁺]

Réactions sur Lobste.rs

• Honnêtement, je pense que c’est le résultat des commentaires du genre « on dirait un texte écrit par un LLM » qui collent partout, ainsi que de la tendance à apposer le tag vibecoding sur tout et n’importe quoi pour des raisons dérisoires
  Il suffit qu’une seule personne lance un soupçon pour qu’il n’y ait pratiquement aucun moyen de se défendre et de prouver qu’on n’a pas utilisé de LLM, surtout si le blog contient des billets ou des avis liés aux LLM. Jusqu’à preuve du contraire, on est traité comme du spam

  • Je suis assez fermement opposé à l’IA générative, mais ces soupçons permanents de LLM commencent à me fatiguer
    Vu mon âge, je ne suis peut-être pas le meilleur pour repérer les indices habituels, mais j’ai aussi du mal à croire que ceux qui s’en prennent à tous les textes sachent distinguer cela aussi bien qu’ils l’imaginent. Les LLM imitent un certain style que les humains utilisaient déjà souvent dans les textes marketing et business avant l’IA, et beaucoup de gens ont peut-être intégré ce style inconsciemment
    Pour le code, j’ai envie de savoir s’il a été écrit par une IA, à cause des questions de fiabilité ; pour les images, cela se voit souvent, et c’est aussi utile pour vérifier le rapport au réel. Mais pour le texte, on peut généralement juger assez vite en le parcourant et comparer le rapport signal/bruit et la qualité ; il y a donc moins de raison de réagir de façon aussi immédiate
  • C’est précisément pour cela que j’hésite de plus en plus à poster ici mes textes qui, autrefois, recevaient de bonnes réactions
    On m’a déjà soupçonné une fois d’avoir écrit avec un LLM, alors que ce n’était pas le cas. Comme mes billets récents portent sur l’IA, on suppose naturellement qu’ils ont été écrits par une IA, et il devient plus probable que les textes suivants soient eux aussi considérés comme contaminés
    On peut dire que « ce n’est qu’un tag », mais c’est plus que ça. J’ai l’impression que le respect d’une communauté que je trouvais autrefois équilibrée s’est brisé, et vu le nombre élevé de votes positifs sur ce fil, je ne crois pas être le seul à le ressentir
  • Un ami m’a envoyé ce billet avant même que je le voie sur lobste.rs, et à la première lecture, j’ai eu l’impulsion de le balayer comme un texte LLM de pacotille
    Mais j’ai continué jusqu’au bout et j’ai décidé de formuler une critique plus précise ; au final, j’ai écrit quelque chose comme : « j’ai l’impression que l’auteur n’a pas encore vraiment intégré pourquoi les flakes sont nécessaires, mais ce n’est pas grave ». Ensuite, une discussion a eu lieu sur ce que font les flakes et pourquoi
    Avec le recul, je suis content de ne pas avoir posté un commentaire paresseux soupçonnant du spam. Sinon, je n’aurais pas pu retenir davantage d’éléments intéressants, et la conversation qui a suivi aurait été empêchée
    Personnellement, j’essaie de réduire l’importance accordée aux outils que les gens ont pu utiliser dans leurs recherches. Si c’est manifestement du spam et, de fait, une attaque par déni de service contre l’attention, alors peu importe que cela vienne d’un humain ou d’un LLM : on peut l’ignorer. Mais si c’est un texte qui ne correspond simplement pas bien au modèle que j’ai en tête, j’aimerais plutôt consacrer mon temps à faire émerger une critique plus constructive qu’à me focaliser sur l’usage d’outils
    Le fait que l’envie d’étiqueter quelque chose comme des déchets de LLM devienne si forte en dit davantage sur notre réaction face au changement social que sur l’auteur qu’on est peut-être en train de mal comprendre
  • Le problème, c’est que tout le monde veut retrouver un indicateur de substitution bon marché du type “ce texte ne sera probablement pas trop mauvais”
    Mais cet indicateur ne reviendra pas, et ce sera certainement impossible tant que l’argent ne se sera pas retiré de la bulle de l’IA
    Avant, les textes étaient simplement « bons », « mauvais », « vrais » ou « faux », et en les lisant on trouvait rapidement des indices clairs. Aujourd’hui, avec l’existence des LLM, une troisième catégorie négative est apparue : « ce n’est pas manifestement faux, mais c’est fade et cela gaspille mon temps », et il faut trop d’efforts pour la repérer. C’est une version renforcée par la fièvre informatique et le capital-risque du « ce n’est même pas faux » de Wolfgang Pauli
    Pire encore, il devient difficile de croire que ceux qui crient « c’est un LLM » soient eux-mêmes vraiment humains. C’est une histoire de tortues jusqu’en bas
  • Si vous ne pensez pas que les LLM sont mauvais, je ne vois pas pourquoi cela poserait problème. Si vous pensez qu’ils sont mauvais, alors vous pouvez voir la destruction de la confiance et les dommages causés par l’introduction de sorties de LLM dans des espaces humains
    Ce n’est pas ce que je voulais, mais c’est le futur que nous nous sommes empressés de construire
    Nous l’avons cassé, et cela ne se réparera pas par la simple force des vœux. Le monde va désormais être pire pour toujours, et pour revenir ne serait-ce qu’un peu en arrière, il faut créer des espaces où les amateurs de LLM n’apparaissent pas
    Il y a des gens qui sont arrivés avec une batte de baseball et ont saccagé l’endroit. Le mal est déjà fait et il est impossible de revenir exactement à l’état précédent. Alors dire « l’ambiance devient inconfortable parce que les gens cherchent à voir si je tiens une batte de baseball », c’est franchement insultant. Le plus souvent, ceux qui se plaignent tiennent effectivement une batte de baseball
    Bien sûr que cela nuit aux gens. Évidemment. Pourquoi croyez-vous que je suis si fermement opposé à l’IA générative ? Parce qu’il n’existe aucun moyen de l’utiliser sans faire de mal

• Je ne comprends pas pourquoi ce billet est signalé
  Les faux soupçons d’usage de LLM existent bel et bien et, comme on le voit dans le texte, ils ont un effet réel sur la santé mentale de l’auteur et sur sa motivation à écrire. C’est un sujet qui mérite tout à fait d’être discuté

• L’auteur du billet de blog qui a déclenché la suppression a ajouté une formule intéressante
  Il dit qu’il est triste que ses soupçons aient blessé l’autre auteur et qu’en réalité, il se souciait peu de savoir si le texte avait été écrit à la main ou non. Il reconnaît aussi ne pas avoir suffisamment pris en compte l’être humain derrière le texte, et précise qu’il aime le style, l’art et le travail d’écriture, mais que ce n’était pas son centre d’attention à ce moment-là
  Il raconte avoir lui aussi vécu une expérience similaire : après le partage sur HN d’un texte qu’il avait écrit sur l’époque où il vivait dans la forêt, il a été accusé en quelques heures d’être généré par IA, sous influence de drogues, puis signalé ; il dit donc connaître ce sentiment de malaise et de découragement. Il ajoute aussi savoir à quel point une review d’article académique qui en rabaisse la valeur dès la première phrase peut être démotivante
  Il conclut qu’il est toujours triste quand il blesse injustement quelqu’un et lui coupe l’envie, et toujours heureux quand ses suppositions pessimistes se révèlent fausses

  • Je trouve vraiment étrange, et un peu désagréable, qu’il n’y ait nulle part le moindre « désolé »
    Si on s’en tient strictement à ce passage, il y a l’empathie de quelqu’un qui a vécu quelque chose de similaire et sait à quel point cela peut blesser, ainsi qu’une réflexion sur le fait d’avoir jugé trop superficiellement la personne derrière le texte et d’avoir fait du tort. Mais il ne franchit pas la toute dernière étape, pourtant évidente, pour réparer la situation
    Quant au site lui-même, j’ai aussi rencontré un bug mobile avant qu’il ne disparaisse, ce qui était assez agaçant, mais il était évident qu’un gros travail avait été fourni. Guix est vraiment un système formidable, mais comme souvent avec le projet GNU, c’est un peu le bazar, et trouver une bonne documentation relève presque de la loterie. C’est pourquoi des textes qui expliquent ces concepts dans des termes plus accessibles à davantage de personnes rendent un immense service à tous les utilisateurs présents et futurs

• En tant que quelqu’un qui a la peau assez dure et se soucie peu de ce que des inconnus sur Internet pensent de mes textes, être soupçonné d’avoir écrit avec un LLM alors que ce n’était absolument pas le cas a été l’une des expériences les plus décourageantes et frustrantes que j’aie vécues
  Il faudrait peut-être que j’arrête

  • Il suffit de faire une restructuration cognitive
    Quand des gens insinuent que j’ai utilisé un LLM, au lieu de penser « on m’a profondément humilié en me comparant à un chatbot », je me dis « ah, ces gens n’ont tout simplement pas une sensibilité linguistique assez développée pour distinguer un bon texte d’un mauvais »

• C’est dommage que le billet ait été retiré. Je le trouvais utile et réfléchi en tant que comparaison entre Guix et Nix, d’autant plus qu’il a suscité un autre texte cherchant à corriger ses erreurs
  Pour le lecteur, les deux ont de la valeur, et sans le premier texte le second n’aurait pas existé
  Il est regrettable qu’il y ait eu des soupçons d’usage de LLM. Je trouve que le texte était bien écrit. Du point de vue des critiques, certains passages ont peut-être donné une impression de « se tromper avec assurance », ce qui est fréquent dans la « recherche » façon LLM. Mais c’est aussi très courant chez un non-spécialiste qui erre dans les ressources baroques d’Internet pour comprendre quels « faits » sont encore valables
  Se tromper sur Internet a beaucoup de valeur. En pratique, cela pousse souvent quelqu’un à écrire une réfutation
  J’espère que @coopi continuera à écrire

• Maintenant, j’hésite carrément à éditer mes textes
  Plus ça ressemble à un premier délire brouillon de fou, moins on risque de me soupçonner d’avoir écrit avec un LLM

  • Tu as peut-être visé juste. Si on commence à considérer la bonne écriture comme un antipattern, mon blocage d’écriture finira peut-être lui aussi

• J’ai l’impression que le jugement « ça a été écrit par une IA » va devenir l’équivalent du vieux « l’image a l’air fausse, ça se voit aux pixels, j’ai déjà vu des montages »

• La situation est regrettable. Il y a toujours cette peur qu’un simple billet de blog se prenne un retour de flamme, et c’est pour ça que je trouve déjà impressionnant que quelqu’un publie un texte ou soumette son contenu à un site d’agrégation
  Il y a ici beaucoup de gens prêts à apprendre, mais aussi beaucoup d’experts prêts à disséquer un texte morceau par morceau
  Moi, je passe souvent un texte terminé dans plusieurs LLM à plusieurs reprises en leur demandant « en tant que membre de $orangesite et de lobste.rs, laisse un commentaire sur ce texte ». Ça aide à recevoir les critiques à l’avance et à gagner en confiance avant de publier, mais beaucoup de textes meurent à ce contrôle

• Même en étant aussi charitable que possible, je ne comprends pas

  1. Je ne comprends pas pourquoi il n’a pas d’abord envoyé un e-mail à tropin. Il aurait pu retirer le texte et publier un avis de suppression, tout en évitant de susciter publiquement et inutilement des soupçons de faute s’il n’expliquait pas la raison. tropin n’a pas fait preuve de la même courtoisie, mais cette manière de faire, qui ressemble à une « vengeance », n’est pas saine même si ce n’était pas l’intention
     On peut aussi comprendre tropin dans la mesure où, de nos jours, même si ce genre de soupçon sans preuve n’est pas acceptable, il reste compréhensible. En fait, il a aussi dit que la vérité de savoir si c’était « écrit avec un LLM ou non » lui importait peu
  2. Je ne comprends pas non plus pourquoi le texte a été supprimé. Les soupçons restent, le texte n’apporte aucune preuve négative, et il le dit lui-même. Il aurait pu ne pas le supprimer et écrire à la place sur ce qu’il ressentait face à cette situation. Si le but était d’éviter le harcèlement, je ne vois pas en quoi écrire un autre billet public sur le sujet aide
  3. Dès qu’on publie sur Internet, on reçoit presque toujours des critiques injustes. Si on ne peut pas supporter les critiques injustes, il vaut peut-être mieux éviter l’écriture publique en général, pour son propre bien
  • Dire « si tu ne peux pas supporter les critiques injustes, évite l’écriture publique » revient en fait à blâmer la victime
    Ce n’est pas différent de dire « si tu ne supportes pas que les autres soient méchants, ton point de vue ne mérite pas d’être entendu ». Pourquoi faire taire quelqu’un qui n’a rien fait de mal, au lieu de dire aux gens qui se comportent méchamment d’arrêter ?
    Je sais qu’on ne peut pas contrôler l’ensemble d’Internet, mais au moins sur lobste.rs, on pourrait arrêter de lancer des soupçons sans fondement sur chaque texte, non ?

• Une chose à laquelle je réfléchis depuis longtemps à propos de mon blog et de mon écriture, c’est : « pourquoi écrire ? »
  Est-ce que j’écris seulement pour moi-même, ou pour des lecteurs ? Qui sont ces lecteurs ? Qui est-ce que j’espère voir me lire, qu’est-ce que j’espère qu’ils en retirent, et pourquoi cela m’importe, autrement dit qu’est-ce que moi j’y gagne ? Je reviens sans cesse à ces questions
  Pour être honnête, dans mon cas il y a aussi une part de recherche d’attention, de reconnaissance, d’ego. J’ai des choses à dire, et le fait que quelqu’un m’écoute m’apporte quelque chose. Il y a aussi le plaisir du processus d’écriture lui-même, et un désir esthétique de fixer précisément une certaine émotion dans le langage
  En même temps, je ressens une dissonance. Quand un texte que j’ai écrit attire de l’attention, une bonne partie des commentaires qui suivent n’est pas ce que je voulais. S’engager sérieusement et généreusement avec le texte de quelqu’un est très difficile, même quand on en a l’intention, et la plupart des gens qui commentent en ligne manquent même de cette intention. Pourtant, je continue à faire du cross-post sur lobste.rs et HN et à regarder le nombre de vues
  En tant qu’absurdist, j’ai l’impression d’accepter cette contradiction. Les désirs que je ressens sont en fait des pulsions évolutives, façonnées pour rechercher reconnaissance, réciprocité et relations au sein d’une communauté physique réelle, qui partent à tort sur quelque chose d’abstrait et de vaguement communautaire comme le blogging sur Internet
  C’est ce qui me vient à l’esprit quand je vois coopi essayer de déterminer ce qui est rationnel. L’idée qu’en publiant sur Internet, il faudrait partir du principe qu’il faut se préparer à certaines réactions ; l’idée aussi qu’on pourrait attendre une certaine homogénéité dans les raisons pour lesquelles les gens écrivent, partagent publiquement et dans la manière dont ils devraient réagir. Il n’y a presque rien de rationnel, au départ, dans le fait d’écrire pour un public de un milliard d’anonymes