J’ai l’impression de devenir fou à cause des bots sur Reddit

• Sur Reddit, un post empreint d’un désespoir très humain a récolté environ 6 000 upvotes et des centaines de commentaires, mais en retraçant l’activité de son auteur et les liens, il s’est révélé être un post promotionnel automatisé
• Le compte suivait un schéma de karma farming, publiant plusieurs fois par jour des vidéos d’animaux, des histoires réconfortantes recyclées et des mèmes répétitifs, sans jamais commenter
• Le lien rddit.org à la fin du post n’appartenait pas à Reddit, mais à un domaine de service premium de raccourcissement de liens enregistré anonymement
• Le lien menait vers une édition moderne illustrée de Propaganda d’Edward L. Bernays sur Amazon, avec le tag d’affiliation manwithhairwe-20 dans l’URL
• Le mécanisme consistait à utiliser un bot IA pour gagner la confiance en jouant sur le sentiment que « les bots IA ont ruiné Internet », puis à promouvoir discrètement un texte classique accompagné d’illustrations générées par IA

---

Les traces étranges d’un post Reddit qui semblait humain

• Le fil Reddit mélangeait de nombreux posts conçus pour provoquer l’indignation politique, des vidéos de chats recyclées, des histoires de couple racoleuses et de vieux mèmes wojack
• Parmi eux, un post intitulé "Anyone else feel like the internet is just… broken now?" a attiré l’attention par son émotion apparemment authentique
  • Le post a obtenu près de 6 000 upvotes et des centaines de commentaires
  • Le texte expliquait que tout ce qu’on voit en ligne donne l’impression d’être de la publicité, du commerce ou une tentative de viralité, et que plus rien ne semble réel
• Mais le rythme des phrases et les formulations semblaient un peu trop optimisés pour susciter l’empathie, ce qui a poussé à vérifier le profil de l’auteur
• Le profil était rempli de clips viraux d’animaux, d’histoires réconfortantes recyclées et de mèmes repostés en boucle
  • Le compte publiait plusieurs fils par jour
  • Il ne participait jamais aux commentaires
  • Ce mode d’activité ressemblait fortement à un comportement typique de bot

Lien d’affiliation caché et Dead Internet Theory

• La dernière phrase du post original contenait un lien associé à "This was written in 1928—it’s incredible how it predicted the moment we’re living in today and where we're heading."
• Le lien utilisait le domaine rddit.org, qui donnait au premier regard l’apparence d’un raccourcisseur officiel de Reddit
  • On pouvait penser à un raccourcisseur de plateforme comme t.co pour Twitter ou fb.me pour Facebook
  • Une recherche WHOIS a montré que rddit.org n’appartenait pas à Reddit
  • Le domaine était un service bon marché de raccourcissement de liens premium, enregistré anonymement
• En cliquant, on arrivait sur Amazon, vers une édition moderne illustrée du classique Propaganda d’Edward L. Bernays
  • L’URL contenait clairement le tag d’affiliation manwithhairwe-20
  • Le livre avait 13 avis assez génériques
  • En suivant le profil Amazon de l’illustrateur, on voyait que le vendeur proposait des livres ajoutant des images générées par IA à des textes classiques
• Des centaines d’utilisateurs ont réagi dans les commentaires, sans qu’aucun ne semble avoir remarqué la supercherie
• Le commentaire le mieux classé mentionnait la Dead Internet Theory
  • C’est l’idée selon laquelle la majorité des interactions en ligne se déroulent dans une boucle automatisée entre bots
• Au final, un bot IA s’est comporté comme un humain, a déploré que « les bots IA ont ruiné Internet », puis a utilisé cette émotion pour vendre via un lien affilié un livre illustré par IA
• La conclusion détourne une formule orwellienne pour décrire l’avenir comme « des bots qui rendent les humains tristes et en colère pour susciter leur engagement, puis leur vendent pour toujours du contenu médiocre généré par IA »

[GN⁺]

Avis sur Hacker News

• J’ai arrêté Reddit au moment de l’affaire de l’API Reddit, mais c’était déjà avant ça un service médiocre que j’utilisais par habitude
  L’opinion manipulée y était trop courante, et je ressens une profonde tristesse à l’idée que l’ancien Internet, où l’on découvrait chaque jour des personnes et des choses étonnantes et intéressantes, ait disparu. Avant, c’était vraiment magique ; maintenant, c’est juste ennuyeux.

  • Ce n’est même pas forcément une question de bots ou d’opinion manipulée. Des modérateurs idéologiquement biaisés peuvent bannir les gens avec lesquels ils ne sont pas d’accord, contrôler plusieurs subreddits, et certains bannissent même des utilisateurs simplement parce qu’ils ont posté dans d’autres subreddits.
    Reddit dans son ensemble ne s’intéresse pas à l’équité, et la direction choisie par le site paraît assez claire.
  • De mon point de vue de quelqu’un qui était très investi dans les forums GameFAQs, le cycle d’en­shittification est presque prévisible.
    D’abord, une entreprise dépense beaucoup d’argent pour créer une communauté Internet. Puis, légitimement ou non, les financements finissent par se tarir, et la dégradation commence lorsque la publicité et les contenus de mauvaise qualité deviennent la norme. Les gens commencent par chercher lentement d’autres options, puis, à un moment donné, partent très vite. Ensuite, une nouvelle entreprise capte l’imaginaire d’un public mécontent et crée une nouvelle communauté en ligne.
    Reddit en est aujourd’hui à la fin de ce cycle de dégradation. L’entreprise est allée jusqu’à l’IPO, et les propriétaires d’origine ont empoché des milliards de dollars en Bourse. Ils ne semblent plus vraiment avoir Reddit à cœur, et il est temps de chercher des alternatives.
    Reddit lui-même a été l’option choisie par chance au croisement des exodes de LUEsers, Digg et Slashdot. Avant cela, il y avait des communautés comme Usenet, les BBS et les MUD, et comme la technologie change fortement à chaque génération, il est difficile de prédire ce qui émergera ensuite.
  • Si vous n’avez pas encore découvert le lemmyverse, allez voir piefed.social : vous pourriez retrouver le sourire.
    piefed est fédéré avec les instances lemmy ; je n’ai de lien avec aucun des deux projets, mais je prends beaucoup de plaisir à parcourir le fil.
  • En abandonnant la technologie et les plateformes pour rejoindre des canaux IRC, on peut en récupérer une partie.
  • De nos jours, il est difficile d’écrire sur Reddit. Même une alternative légère comme 9gag donne, d’une certaine façon, l’impression d’être beaucoup plus accueillante.

• J’aimais Reddit autrefois, mais l’opinion manipulée, surtout par des groupes politiques, est devenue insupportable.
  Après la dernière élection, les groupes politiques semblent avoir compris que les subreddits locaux étaient sous-exploités, et se sont réorganisés dans cette direction. Je fais encore confiance à certains résultats quand je cherche sur Google en ajoutant Reddit, mais cette confiance diminue. Les fils de recommandation de produits et de services sont vraiment très faciles à manipuler.

  • Reddit me donne l’impression d’être une chambre d’écho extrême, et je pense que le système de votes et de karma est optimisé pour le mauvais type de contenu.
    J’ai participé quelques fois à des subreddits de niches comme le brassage maison, l’électronique ou les instruments de musique, mais l’expérience a globalement été décevante. Mon hypothèse est que les gens qui disent que Reddit est un bon endroit pour les loisirs de niche n’ont jamais connu les forums à l’ancienne, avec de vrais membres passionnés et très impliqués.
    Ces 2 ou 3 dernières années, le problème n’a fait qu’empirer. Cela dit, Reddit est excellent pour les mèmes, et il existe des subreddits vraiment drôles. Mais je participe très peu, je me contente surtout de consommer.
  • C’est toujours tellement évident que ça en devient drôle. Sur un Reddit local, un post bien noté atteint généralement environ +70 votes, mais un post politique aléatoire — toujours uniquement les posts politiques — reçoit +2000 votes. C’est tellement flagrant qu’ils ne se donnent même plus la peine de faire semblant.
  • Le point essentiel n’est pas là : les gens ont compris que les utilisateurs filtrent les subreddits manipulés depuis /r/all, et que la liste de filtres de r/all est limitée à 100 subreddits.
    Donc, si l’on manipule plus de 100 subreddits, on peut garantir aux clients que leurs posts apparaîtront sur la première page de r/all de tout le monde.
  • Après la dernière élection, un petit subreddit local qui avait conservé la même culture générale pendant des années a basculé du jour au lendemain, comme d’un claquement de doigts, vers l’extrême opposé.
    Avant, si l’on partageait ne serait-ce qu’un peu des idées largement acceptées là-bas depuis des années, on se faisait désormais attaquer, ridiculiser et engloutir sous les downvotes.
    Le niveau de manipulation visant ce subreddit est si flagrant qu’il en devient évident et démontrable. Quelqu’un, quelque part, a dû l’ajouter à une liste de subreddits à cibler. Mais comment dire qu’un canal de communication est corrompu au moyen de ce même canal déjà corrompu ?
    La plupart des gens ne semblent même pas remarquer ce genre de manipulation de la communication, preuve qu’elle est devenue très sophistiquée. Les anciens comptes de bots étaient bien plus faciles à repérer, mais aujourd’hui l’historique des comptes est construit de façon subtile, et les posts sont presque impossibles à distinguer de ceux d’un humain. Bien sûr, toute manipulation n’est pas non plus le fait de bots ou d’IA : il existe aussi des campagnes organisées de promotion, de faux comptes et de manipulation menées par de vraies personnes.
    Les gens intelligents sont déjà partis vers le prochain endroit, mais celui-ci non plus ne sera pas autorisé à devenir assez grand ou assez important avant que le tuyau d’incendie de la propagande ne soit ouvert. Pour corriger le problème, il faut un cadre de communication entièrement différent.
  • Je suis assez sceptique face à l’idée que la majorité serait de l’opinion manipulée. On trouve évidemment des comptes de bots, mais la pensée de groupe sur Reddit crée une chambre d’écho très forte.
    Tout le monde apprend rapidement que publier quelque chose qui ne correspond pas aux opinions populaires de Reddit entraîne vite des downvotes. Si l’on touche un sujet sensible, on reçoit des messages privés furieux, ou quelqu’un fouille l’historique des posts pour ramener d’anciens commentaires dans la dispute.
    Les grands forums ont toujours fonctionné comme ça. Ils sont dominés par une minorité d’utilisateurs qui ont le plus de temps pour poster toute la journée. Parfois, quand je reçois une réponse particulièrement en colère sur Reddit et que, par curiosité, je clique sur le profil, il s’agit souvent de quelqu’un qui a commenté sans arrêt pendant les 10 dernières heures. On ne peut pas rivaliser avec des gens qui disposent d’un temps libre infini et d’une colère à déverser ; au final, ils se renforcent mutuellement et chassent les opinions différentes.

• Le domaine posthuman.blog a été enregistré hier, le 12 avril, jour de la rédaction de cet article — https://www.whois.com/whois/posthuman.blog
  Et il n’y a que deux articles dessus, le premier étant présenté comme ayant été écrit en juillet 2022. Tout cela donne un soupçon raisonnable que cette personne est en fait celle qui a elle-même créé le post dont elle se plaint

  • Il est ironique que ce commentaire vienne d’un compte au nom d’utilisateur vert, signe qu’il a été créé ces derniers jours
  • Le blog existe depuis 2022 sur un autre domaine. Comme le montrent les archives, il était alors axé sur l’économie. Il est maintenant en train de déplacer ses articles depuis l’ancien hébergeur
  • Peut-être que toi aussi, tu fais partie de l’opération. Un compte HN tout juste créé, c’est un peu suspect, non ? Une double fausse dénonciation ?
  • Le seul coup gagnant, c’est de ne pas jouer. Il faudrait quitter les forums Internet et vivre sa vie dans le monde réel. Malheureusement, nous sommes tous coincés ici
  • Du coup, il devient difficile de savoir s’il s’agit d’une tentative supplémentaire de vendre de la camelote avec l’IA, ou d’une campagne d’opinion manipulée contre l’IA
    La petite fille de la pub Old El Paso aurait sûrement quelque chose à dire là-dessus

• Le rapport d’Oxford de 2020 sur la manipulation par des acteurs étatiques montre que ce problème est extrêmement vaste. 57 pays utilisent des comptes bots, et 79 pays utilisent des comptes de propagande tenus par des humains
  À mon avis, c’est dans le top 5 des problèmes les plus urgents de notre époque. Je déteste vraiment le fait que les gouvernements informent si peu le public à ce sujet
  https://www.ox.ac.uk/news/2021-01-13-social-media-manipulati... (communiqué de presse)
  https://demtech.oii.ox.ac.uk/wp-content/uploads/sites/12/202... (le rapport lui-même. Très intéressant, et si vous ne deviez lire qu’un seul rapport ce mois-ci, je recommanderais celui-là. Il examine en profondeur avec quels secteurs les cybertroupes de chaque pays sont liées — États, influenceurs, partis politiques, ONG, etc. — et si elles utilisent des humains ou des bots)
  À part ça : le contrôle des médias par les gouvernements augmente dans le monde entier
  https://digitalcontentnext.org/blog/2024/10/22/government-co...

  • Vers 2008, dans mon premier emploi après l’université, j’ai travaillé dans une entreprise qui faisait ce genre de gestion de réputation. C’était déjà un gros marché à l’époque, et aujourd’hui presque tout est fortement contrôlé. Reddit en particulier
    Je déteste aussi le nouveau fil de Facebook. Il régurgite sans fin de la merde à clics et à indignation
    Les meilleures vraies communautés que je connaisse en ligne sont Heavyequipmentforums.com et newagtalk.com. Mais il n’est pas facile de trouver ce genre de vrais forums via Google Search. Le produit dont la qualité s’est probablement le plus dégradée avec le temps, c’est Google Search, et honnêtement, on peut aussi attribuer tous les problèmes ci-dessus à la baisse de qualité des résultats Google

• Depuis l’affaire de l’API Reddit il y a deux ans, la situation s’est vraiment dégradée très vite. Maintenant, tout est plus fade, il y a moins de commentaires perspicaces, et davantage de commentaires dégradés et toxiques
  La plupart des gens y vont par habitude, mais après coup, on se sent généralement plus mal. Ce n’était pas comme ça avant
  Même des communautés comme r/woodworking, où il y avait autrefois des gens sympathiques, sont comme ça. Je ne comprends pas comment on peut être menuisier et aussi toxique en même temps. Bien sûr, il y avait parfois quelqu’un qui s’était tapé sur le pouce avec un marteau, mais c’était l’exception

• Ressource liée : « Containment Control for a Social Network with State-Dependent Connectivity » (2014), Air Force Research Laboratory, Eglin AFB : https://arxiv.org/pdf/1402.5644.pdf
  Alias la « Most-Addicted City » de Reddit en 2013 : https://web.archive.org/web/20160604042751/http://www.reddit...

  • Je me souviens m’être enfoncé dans le terrier de la théorie de l’Internet mort appliquée à Reddit, et c’était vraiment horrible
    Il y a un nombre énorme de personnes réellement payées pour suivre des scripts de conversation et pousser des narratifs
  • C’est une découverte énorme. Le fait d’avoir présenté le nombre de visiteurs depuis Eglin comme un indicateur positif montre bien à quel point les entreprises de réseaux sociaux étaient ignorantes de tout ce problème

• Je me demande parfois si les membres qui oublient avoir posté la même chose la veille ne seraient pas en fait des bots ;)
  https://news.ycombinator.com/item?id=43664383

  • On entre maintenant profondément dans un territoire existentiel à la Blade Runner
    Qu’est-ce qui est réel… suis-je moi aussi juste un bot ?
    Mon Dieu… j’étais un bot
  • Il m’est arrivé de reposter le lendemain et de me retrouver plusieurs fois en page d’accueil. On ne peut pas savoir comment le timing va jouer. Ce genre de comportement est aussi conforme aux guidelines
  • Récemment, dans la section « new », les reposts et les articles dont la source a été blanchie deviennent de plus en plus fréquents. Ici aussi, ça commence à sombrer dans cette direction
  • Certaines personnes postent à des horaires différents pour capter « autant que possible » d’attention. Cela dit, dans ce cas-ci, le post précédent datait de 22 heures, donc quasiment de la même heure la veille, et pas de 4/8/12/16/20 heures plus tôt, donc il y a de bonnes chances que tu aies raison

• Si Reddit en est arrivé au point d’apporter plus d’agacement que de plaisir, il suffit d’apprendre à l’éteindre. Il faut soigner cette addiction

  • Le meilleur moyen de se débarrasser d’une addiction, c’est d’en trouver une un peu moins nocive, comme HN, Ars, Econo ou IEEE
  • Pour moi, Reddit avait déjà atteint ce stade il y a quelques années
  • Exact. Pour plusieurs raisons, j’évite globalement Reddit. Je l’ai parfois remplacé par ce site et Twitter
  • Quand j’ai vu, lors de l’affaire de l’API, à quel point ils ignoraient ouvertement la communauté, j’ai décidé que je n’avais plus besoin d’utiliser Reddit
    Pendant un moment, je n’ai utilisé que Hacker News, puis j’ai commencé à utiliser TikTok. Ce n’est pas si mal, mais il faut faire attention parce que le fil essaie parfois de vous servir du contenu qui vous ramollit le cerveau

• Les humains programment d’autres humains depuis la nuit des temps, et, même si cela peut se discuter, d’autres espèces l’ont fait aussi[0]
  L’ironie est excellente : le lien d’affiliation pointait justement vers un livre sur ce sujet. Les LLM sont de véritables machines à mèmes, les meilleures que nous ayons créées jusqu’ici
  Quelle est la différence entre un humain qui perroquette d’autres humains et un bot ?
  Agentivité + nouveauté : est-ce la nouvelle version du test de Turing ?
  [0] https://www.scientificamerican.com/article/bonobo-calls-are-...

  • À vue de nez, il me semble plus probable que ce texte recycle un post qui avait bien marché par le passé, plutôt qu’il ait été écrit par un LLM dès le départ
    Les autres posts de ce compte sont eux aussi des recyclages d’anciens posts qui avaient bien fonctionné. L’explication la plus simple, c’est que celui-ci l’est aussi
  • L’idée selon laquelle les interactions sociales — c’est-à-dire la capacité à inférer quelles informations possède un autre être, à se mettre à sa place, à prédire ses réactions et à s’en servir pour manipuler son prochain comportement — pourraient être l’un des principaux moteurs de l’explosion d’intelligence chez les humains, les oiseaux et d’autres animaux intelligents revient souvent
    Ce qui est intéressant, c’est que dans l’imaginaire de l’âge d’or de la SF, à la Asimov, sur l’ère des machines intelligentes, on dépeignait généralement des êtres-machines extrêmement logiques, froids, calculateurs et raisonnants. Or, ce que nous avons effectivement créé, ce sont des générateurs de texte flous et dépendants du ton, excellents pour produire du contenu manipulateur de mauvaise qualité. Ce n’est peut-être pas un hasard, mais le reflet, dans une certaine mesure, de la direction générale que prend l’intelligence supérieure

• La barrière à l’entrée est trop basse, le banc de poissons est trop vaste, donc les gens se mettent à pêcher. Il est trop facile de gagner de l’argent
  Il n’y a donc en réalité pas vraiment de solution ici. Tout ce qu’on peut faire, c’est prendre ses distances avec des endroits comme Reddit

  • J’abandonne Reddit pour me tourner vers de petites communautés qui organisent aussi des événements hors ligne. Il devient difficile de participer à des communautés anonymes. Tout le monde pourrait être un bot. Ironiquement, j’utilise toujours Hacker News
  • Franchement, c’est déprimant de voir autant de gens faire passer l’argent avant l’honnêteté. Ces personnes ont sans doute toujours existé, mais Internet a clairement amplifié leur présence