Reddit a décidé que le HTML ordinaire n’était pas sûr

• Reddit a commencé à exiger une connexion, considérant que l’utilisation d’Old Reddit en étant déconnecté était une source majeure de scraping malveillant et de trafic automatisé, mais New Reddit reste accessible sans connexion
• Old Reddit sert la plupart des publications et commentaires en HTML ordinaire, avec environ 1 Mo téléchargé et 0,5 Mo envoyé, tandis que New Reddit, qui nécessite JavaScript, charge environ 5 fois plus de données
• Dans une expérience limitée menée dans un navigateur, New Reddit permettait aussi de récupérer le texte des commentaires avec seulement une partie du JavaScript et des requêtes vers l’API de commentaires ; il n’est donc pas confirmé que ce changement bloque réellement le scraping
• Old Reddit charge 200 commentaires dès le départ, contre seulement 25 pour New Reddit, qui atteint environ 35 même après défilement ; les scrapers ont donc clairement des raisons de préférer Old Reddit, plus concis
• Plutôt que d’invoquer une notion vague de « sécurité », Reddit aurait dû dire directement qu’il s’agissait de limiter le scraping ou de préparer l’arrêt du service ; l’obligation de se connecter crée une barrière inutile pour les utilisateurs qui veulent lire des résultats de recherche rédigés par des humains

---

Reddit et les résultats de recherche rédigés par des humains

• Reddit est perçu comme une entreprise qui héberge de très nombreux forums populaires tout en cherchant à extraire un maximum de valeur des communautés créées par ses utilisateurs
• À l’ère des LLM, les données générées par des humains ont pris une grande valeur, ce qui rend les publications des communautés Reddit encore plus importantes comme actif
• La précédente controverse autour de l’API Reddit s’inscrit aussi dans cette logique de récupération de valeur auprès de la communauté
• Ajouter site: reddit.com à une requête permet de trouver plus facilement des résultats écrits par de vraies personnes ; même sans utiliser activement Reddit, ses résultats de recherche restaient donc utiles à consulter

L’exigence de connexion sur Old Reddit

• old.reddit.com est le frontend qui fournit l’ancienne interface de Reddit, mais il est désormais difficile de l’utiliser normalement en étant déconnecté
• Une minorité d’utilisateurs de Firefox et NoScript a déjà connu à plusieurs reprises le fait d’être progressivement exclue de produits qui fonctionnaient correctement
  • Un téléphone de 8 ans et une tablette de 10 ans sont devenus inutilisables au motif que leur système d’exploitation était trop ancien
  • L’API utilisée par l’application Stack Exchange, retirée des app stores, a elle aussi été arrêtée
• Reddit a présenté cette mesure comme nécessaire pour « maintenir la sécurité de Reddit », mais on ne voit pas clairement en quoi des utilisateurs cherchant à accéder à des connaissances menaceraient la plateforme

Le problème de scraping décrit par Reddit

• Selon l’annonce officielle de Reddit, l’utilisation d’Old Reddit sans connexion est une source majeure de scraping malveillant et de trafic automatisé
• New Reddit restant accessible sans connexion, la raison pour laquelle seul Old Reddit est restreint laisse des questions ouvertes
• Un commentaire associé explique que les méthodes de trafic malveillant changent sans cesse, entraînant un cycle de blocages et de contournements ; la détection a posteriori est facile, mais le blocage préventif est difficile
• Certains ont interprété cela comme le fait qu’Old Reddit ne dispose pas d’une pile de sécurité moderne, rendant la gestion du trafic automatisé plus difficile, et un administrateur de Reddit a repris cette réponse à son compte

Fonctionnement et volume de transfert d’Old Reddit

• Après connexion et examen du fil d’annonce, Old Reddit sert la plupart des contenus utilisateur en HTML ordinaire
• Sauf lorsqu’il faut charger des commentaires supplémentaires, la page peut être lue sans JavaScript
• La page mesurée a téléchargé environ 1 Mo et envoyé 0,5 Mo, l’essentiel de la réponse étant du HTML
• La réponse a pris environ 2 secondes, soit environ 4 fois plus lent que GitHub à taille comparable
  • Il n’a pas été possible de déterminer si cela venait d’une limitation de débit ou si Reddit est simplement lent par nature
• Les requêtes de commentaires supplémentaires étaient concises et traitées rapidement, sans problème de sécurité évident par rapport à une page web classique

La dépendance de New Reddit à JavaScript

• Sans JavaScript, New Reddit ne charge quasiment aucun contenu en dehors de la publication elle-même
• Le volume total chargé était environ 5 fois celui d’Old Reddit ; l’essai consistait à ne pas contourner précisément les mécanismes de sécurité, mais à ne garder que les requêtes minimales nécessaires pour récupérer le contenu dans le navigateur
• La page elle-même se chargeait en autorisant seulement les requêtes suivantes
  • www.redditstatic.com/js/concat
  • www.reddit.com/svc/shreddit/more-comments/
  • www.reddit.com/svc/shreddit/comment/
• Avec le filtre appliqué, le bouton de chargement de commentaires supplémentaires restait en chargement permanent, mais les réponses aux requêtes contenaient bien le texte des commentaires
• Le simple fait d’exécuter le JavaScript de la page et d’envoyer les requêtes nécessaires permettait de recevoir les informations des commentaires ; il n’est donc pas clair que l’exécution de JavaScript soit la barrière principale contre les scrapers

Captcha et transmission des actions utilisateur

• Malgré plusieurs rechargements de la page et chargements de commentaires et de réponses, la plupart des essais n’ont pas échoué
• Dans une expérience où le filtre de requêtes avait été désactivé, des champs de captcha ont été transmis comme paramètres de requête lors d’une redirection, mais le phénomène n’a pas pu être reproduit
• Il n’a pas non plus été vérifié si un captcha apparaît lorsque l’API de commentaires est appelée directement et de manière répétée
• New Reddit envoie à Reddit des signaux de heartbeat chaque fois que l’utilisateur fait défiler la page ou déplace le curseur

Les limites de l’effet anti-scraping

• Il semble moins s’agir d’un problème de sécurité du frontend lui-même que d’une mesure destinée à rendre plus difficile le scraping des précieuses données générées par les utilisateurs de Reddit
• Cela ne prouve pas que New Reddit puisse encore être scrapé, et il reste possible que l’opération soit plus difficile qu’avec Old Reddit
• Les scrapers ont de bonnes raisons de préférer Old Reddit : ses pages sont plus concises et chargent davantage de commentaires au départ
  • Old Reddit charge 200 commentaires dès le début
  • New Reddit n’en charge que 25 au départ, puis monte automatiquement à environ 35 après défilement
• New Reddit a remplacé l’ancienne interface centrée sur du HTML ordinaire par une structure environ 5 fois plus lourde, dépendante notamment de web components, ce qui pousse le navigateur à recevoir plus de données et à effectuer plus de travail
• En augmentant la charge côté navigateur, Reddit a peut-être aussi accru le coût du scraping, mais l’effet réel de blocage n’est pas confirmé

Rejet de l’argument de la « sécurité »

• Si Reddit avait discrètement appliqué des réponses 30X ou 40X à old.reddit.com, ou avait annoncé sa suppression faute d’utilisateurs, cela aurait été désagréable mais prévisible
• Ce qui suscite davantage de rejet, c’est de retirer un mode d’accès qui fonctionnait correctement au nom de justifications vagues de sécurité et de scraping, sans lien direct avec les utilisateurs réels
• Comme avec Anubis, lorsque la nécessité est compréhensible, certains sont prêts à activer JavaScript ; le cœur du rejet ne porte donc pas sur JavaScript lui-même, mais sur l’écart entre l’explication donnée et la mesure prise
• Les blogs personnels fournissent eux aussi du texte en HTML ordinaire, comme Old Reddit, mais à la différence du contenu généré par les utilisateurs de Reddit, il s’agit à l’origine du contenu propre de leurs exploitants

Options restantes et inquiétudes

• Il est possible de se connecter, mais l’insatisfaction demeure face à l’imposition d’une procédure qui n’était auparavant pas nécessaire
• Il faudra peut-être utiliser New Reddit, sans savoir si Reddit continuera à maintenir Old Reddit
• Une crainte existe que Reddit bloque à l’avenir l’accès à New Reddit sans connexion s’il estime pouvoir le faire
• Plutôt qu’un environnement où il faut passer par d’énormes et coûteux LLM pour lire ce que de vraies personnes ont écrit, l’auteur souhaite un Internet où l’on peut chercher et lire directement des textes rédigés par des humains
• La discussion liée a aussi été publiée sur Lobste.rs

[GN⁺]

Avis sur Lobste.rs

• Le meilleur exemple de l’enshittification des réseaux sociaux, c’est le passage de l’ancien Reddit au nouveau Reddit. L’ancienne version est vieillotte, mais rapide, dépouillée, légère pour le navigateur, et permet de charger des dizaines de réponses ; on peut aussi corriger ses défauts avec des outils comme RES ou Toolbox
  J’essaie de redonner sa chance à la nouvelle version tous les quelques mois, mais même après près de 15 ans d’inscription, j’ai toujours du mal à m’y faire. Deux énormes barres latérales occupent l’espace, l’ouverture des posts est lente et confuse, et charger un lot de commentaires peut provoquer un rafraîchissement de la page qui fait perdre le contexte
  Il y a de bonnes fonctionnalités, comme les posts d’images, les sondages ou les nouveaux outils de modération, mais j’utilise quand même encore l’ancienne version. Il ne semble pas non plus que l’entreprise reviendra à une logique de confort utilisateur, et le fait que sa position sur le support indéfini de l’ancienne version se soit récemment affaiblie en passant à « pas pour l’instant » est inquiétant

  • L’ancien web et l’ancien Reddit, avec leurs nombreuses petites communautés sociales, n’ont cessé de décliner. Si Old Reddit ferme lui aussi, le déclin s’accélérera encore avec le départ ou la suppression de compte des utilisateurs restants, et j’en ferai clairement partie
    /r/rust, où je participe souvent, risque aussi de s’effondrer après avoir perdu la plupart de ses modérateurs et de ses utilisateurs de longue date. Avec la maturité de Rust et son passage trop marqué dans le mainstream, la qualité a aussi beaucoup baissé par rapport à il y a 10 ans. Le nouveau Reddit correspond mieux à la direction voulue par l’entreprise, mais c’est un produit complètement différent, sans avenir pour l’ancien web
  • Aussi incroyable que cela puisse paraître, j’utilise Old Reddit même sur mobile. Même si le texte est petit, c’est bien plus rapide
  • Dire que c’est le pire cas est un jugement audacieux. Facebook, qui a injecté des contenus politiques conçus pour susciter l’indignation et du contenu IA de mauvaise qualité dans le flux où l’on suivait les nouvelles des amis et de la famille, mérite aussi d’être bien placé
  • L’affichage desktop du nouveau Reddit rend globalement le contenu plus difficile à parcourir. Il est devenu plus dur de balayer les titres intéressants ou de voir ce qui est pertinent

• Le vrai problème, c’est que la communication parle de « sécurité » au lieu de dire « pour réduire la charge de scraping sur les serveurs ». Pour les opérateurs de sites web aujourd’hui, la charge liée au scraping est une préoccupation tout à fait légitime ; le reste relève d’une irritation compréhensible, mais un peu à côté du problème immédiat
  L’application des lampes Philips Hue a aussi affiché pendant des années une bannière expliquant qu’il faudrait bientôt un compte pour contrôler ses lumières, « pour la sécurité ». La vraie sécurité consiste à garder toutes les communications dans mon réseau, pas à faire intervenir des serveurs externes et un système d’authentification externe pour piloter des appareils de mon réseau domestique. Heureusement, cela en est resté à l’avertissement et ça fonctionne encore très bien sans compte

  • J’ai commencé à lire « pour la sécurité » comme « pour la sécurité de notre activité »
  • Empêcher les bots fait clairement partie du travail de sécurité, donc je ne suis pas certain que cette formulation soit fausse
  • Lassé du discours sécurité de Hue, j’ai fini par passer à une combinaison Raspberry Pi, dongle deCONZ, Node-RED/Homebridge, et je ne l’ai jamais regretté
  • L’écran de connexion dit « pour votre sécurité », la communication dit « pour la sécurité », mais en réalité il s’agit d’empêcher le scraping pour protéger Reddit lui-même. Même si j’essaie de vérifier l’idée selon laquelle le nouveau Reddit serait plus difficile à scraper, il ne reste au final que le fait que c’est une web app complexe
    Je compatis aux petits sites touchés par les scrapers, mais j’ai peu de sympathie pour Reddit. Si Google et d’autres ont payé des sommes énormes pour l’accès API, je ne vois pas pourquoi ils ne pourraient pas continuer à laisser l’accès sans connexion tant qu’Old Reddit vaut la peine d’être maintenu. Il me semble aussi avoir vu des redirections CAPTCHA, donc je me demande à quel point il serait difficile d’ajouter ça à Old Reddit
    Mon hypothèse cynique, c’est que quelqu’un a mis une limitation à 2 secondes sur Old Reddit, a constaté que les chiffres du scraping ne bougeaient pas, puis a décidé de le fermer ; et qu’après des frictions internes, on a abouti au compromis actuel

• Dans ce domaine, les mensonges flagrants sont ridiculement fréquents et bien trop souvent tolérés. Cloudflare aussi affichait encore il y a quelques mois « vous devez vérifier la sécurité de la connexion avant de continuer vers example.com », avant de passer récemment à une formulation plus honnête indiquant que son service anti-bots malveillants vérifie l’utilisateur
  Google a utilisé un prétexte similaire pour supprimer XSLT. Au départ, la sécurité était présentée comme la raison principale, mais avant même de commencer la suppression réelle, ils ont eux-mêmes invalidé cet argument en proposant via une extension un remplacement totalement compatible. Et malgré cela, au moment du retrait effectif, ils ont continué à parler de « sécurité », alors qu’ils auraient dû exposer franchement leurs autres raisons légitimes. Ce n’est pas le fait que tous les éditeurs de navigateurs voulaient supprimer XSLT qui me gêne, c’est la manière dont Google l’a emballé

• Les entreprises adorent dire que tout est « pour votre sécurité ». Il y a longtemps, dans une supérette, on m’a dit que je ne pouvais pas entrer avec un petit sac portable, pour ma sécurité et celle des autres clients. On pourrait certes frapper quelqu’un avec un sac vide, et ils avaient peut-être déjà subi un braquage, mais leur vraie inquiétude était presque certainement le vol
  J’aurais eu bien plus de respect s’ils avaient honnêtement remplacé « sécurité » par « pour maintenir et augmenter notre marge ». Après tout, le but d’une entreprise est évidemment de gagner de l’argent

• Il suffit d’utiliser des interfaces frontales de lecture seule et respectueuses de la vie privée pour Reddit, comme redlib, libreddit, teddit, avec un plugin de redirection comme libredirect. À part les développeurs de ces interfaces, personne n’a de raison de subir directement les derniers abus de Reddit

• En utilisant old.reddit.com, on peut contourner la barrière de connexion des subreddits 18+, qui couvrent non seulement les sujets sexuels, mais aussi d’autres contenus sensibles
  Pour les gens qui veulent accéder à certains sujets sans compte Reddit, ce changement est pire. Reddit reste une immense source d’information, au point que j’ajoute souvent site:reddit.com à mes recherches

• Reddit a aussi supprimé l’API JSON, bloquant du même coup des outils comme lurker(https://tangled.org/oppi.li/lurker), qui permettaient de consulter Reddit avec un compte, sans barrière de connexion et sans JavaScript. Je savais que cela finirait par arriver, et les données utilisateur de haute qualité semblent être le vrai rempart défensif de Reddit

• Old Reddit n’est pas non plus « sûr » pour les intérêts commerciaux de Reddit. Le nouveau Reddit refuse désormais carrément de fonctionner sur téléphone et force vers le téléchargement de l’application, où les bloqueurs de pub classiques ne marchent pas non plus, ce qui donne à Reddit un contrôle bien plus fort que dans un navigateur. En revanche, l’ancien site reste encore accessible sur mobile

  • On peut éviter le forçage vers l’application en utilisant l’option du navigateur « version pour ordinateur »

• J’ai vu énormément de bots évidents et de marketing promotionnel sur Reddit comme sur HN. L’un des rares endroits où j’échange encore en ligne, c’est lobste.rs, parce qu’on peut raisonnablement croire que la plupart des gens y sont de vraies personnes

• Sur mobile, après avoir lu un certain nombre de commentaires sur le nouveau Reddit, une barrière d’installation de l’application impossible à fermer apparaît et vous impose l’idée que « Reddit est mieux dans l’application ». Le seul moyen d’éviter ça sans installer l’app, c’est Old Reddit
  Apparemment, consulter plus d’une ou deux pages d’un site mobile bien conçu n’est pas « sûr », et la fermeture d’Old Reddit ressemble à une tentative de colmater cette faille dans l’entonnoir d’installation de l’application