Les articles retirés en temps réel de la page d’accueil de Hacker News
(github.com/vitoplantamura)- HackerNewsRemovals est un projet qui enregistre les stories disparues de la Front Page de Hacker News afin de comprendre les types et l’ampleur des ajustements de la page d’accueil observables depuis l’extérieur
- Le service récupère chaque minute les 90 Top Stories via l’API HN officielle, puis journalise les stories disparues en les comparant aux 30 premières de la minute précédente
- L’hypothèse centrale est qu’il est difficile qu’une story passe naturellement du top 30 à au-delà du top 90 en une minute, et que dans ce cas elle a probablement été retirée explicitement
- Le service ne peut pas déterminer automatiquement si une story est un doublon, et comme cela peut constituer une raison légitime de suppression, il faut toujours le vérifier en consultant la liste
- Les journaux sont mis à jour avec jusqu’à une minute de décalage, et si une story réapparaît sur la Front Page, elle est retirée de la liste ; les stories présentes dans le second-chance pool sont exclues
Objectif du projet et constat
- HackerNewsRemovals est un projet visant à comprendre l’ampleur et les formes des ajustements de la Front Page de Hacker News
- Selon le projet, les ajustements de Front Page observables depuis l’extérieur se divisent principalement en deux catégories
- Modification du titre d’une story : cela peut influencer sa progression dans le classement, volontairement ou non
- Retrait direct de la Front Page
- Le suivi des changements de titre est déjà proposé sur hackernewstitles.netlify.app, donc ce projet se concentre sur les stories retirées
- À l’origine, c’était une petite application personnelle, mais comme son auteur n’a trouvé aucun autre outil ni site offrant ce type d’information, il l’a publiée sous forme de dépôt public
- Il précise que si un outil ou un site similaire existe, il pourrait archiver le dépôt ou le rendre privé
Mise à jour de février 2024 et points d’attention
- Une mise à jour du 4 février 2024 a ajouté le lien vers la discussion Hacker News sur ce projet
- Discussion : HN discussion
- Commentaire de @dang sur l’hypothèse centrale : @dang comment
- Le samedi 3 février 2024, le nombre de stories retirées a été le plus faible jamais enregistré par le service, et cela incluait 2 stories en doublon
- Il faut toujours vérifier si une story est un doublon lorsqu’on consulte la liste
- Un doublon peut constituer une raison légitime de suppression
- Le service n’a aucun moyen de déterminer automatiquement les doublons
Fonctionnement
- Le service utilise l’API HN officielle pour récupérer chaque minute les 90 Top Stories
- Il compare ces données avec les 30 premières récupérées une minute plus tôt, c’est-à-dire la Front Page
- Si une story présente sur la Front Page précédente n’apparaît plus dans les 90 Top Stories actuelles, elle est inscrite dans le journal
- Cette méthode repose sur l’hypothèse qu’une story ne peut pas passer naturellement du top 30 à au-delà du top 90 en une minute
- Si une story réapparaît sur la Front Page, son entrée est supprimée du journal
- Les stories présentes dans le second-chance pool sont exclues du journal
Données enregistrées
- Le titre et l’URL correspondent aux valeurs au moment où la story est apparue pour la première fois dans le top 30
- Le score, le nombre de commentaires et le rang correspondent aux valeurs au moment du retrait de la story de la Front Page
- Chaque identifiant de story renvoie vers la page news.social-protocols.org
- Cette page fournit un graphique de l’évolution du rang sur la Front Page au fil du temps
- La liste est mise à jour en temps réel avec un délai maximal d’une minute
Forme de la liste publique
- Le README enchaîne les listes de stories retirées classées par date
- Chaque entrée peut inclure l’identifiant HN, le rang au moment du retrait, le score, le nombre de commentaires, le titre de la story et le lien d’origine
- À titre d’exemple, des entrées allant du 22 au 27 juin 2026 sont listées par date
- Certaines entrées n’affichent ni score ni nombre de commentaires, seulement le rang et le titre
- Lors de l’interprétation de la liste, il faut vérifier s’il s’agit de doublons ; le service lui-même n’automatise pas cette détection
Ce qui a motivé la création du projet
- Le projet est né après deux stories liées à OnnxStream publiées sur Hacker News et affectées de manière différente sur la Front Page
- Le titre de la première story est passé de “Stable Diffusion Turbo on a Raspberry Pi Zero 2 generates an image in 29 minutes” à “OnnxStream: Stable Diffusion XL 1.0 Base on a Raspberry Pi Zero 2”, et des utilisateurs ont signalé que ce nouveau titre ne reflétait pas l’intention de la story
- La deuxième story avait atteint la 3e place de la Front Page moins d’une heure après sa soumission, avant d’être ensuite retirée de la Front Page
- @dang a répondu que cette story avait été signalée par des utilisateurs même sans indication explicite de flag, et que la cause de ces signalements ne pouvait faire l’objet que de suppositions
- À partir de cette expérience, l’auteur a créé une petite application console pour voir à quelle fréquence ce phénomène se produisait, puis l’a rendue publique faute d’avoir trouvé un outil public surveillant le même phénomène
1 commentaires
Commentaires sur Hacker News
En regardant la liste des posts supprimés, je trouve la modération ici plutôt satisfaisante
Ils étaient tous soit sensationnalistes, soit presque de la pub pour une entreprise en particulier, soit dotés d’un titre piège à clics, soit largement hors sujet, soit une combinaison de tout ça, et personnellement il n’y en a aucun dont je pense qu’il n’aurait pas dû être supprimé
Sam Altman Says AI Using Too Much Energy Will Require Breakthrough Energy Source : https://futurism.com/sam-altman-energy-breakthrough
Avoid Async Rust at All Cost : https://blog.hugpoint.tech/avoid_async_rust.html
Le dernier avait sans doute un titre qu’on aurait pu rendre moins excessif, mais le contenu lui-même était une tribune intéressante. J’ai davantage l’impression que ce n’est pas le travail direct des modérateurs, mais plutôt des faux positifs du filtre anti-spam, des signalements en meute ou des mécanismes de prévention de manipulation des votes
C’était tout ce qu’il fallait savoir sur la modération de ce site. Heureusement, quelqu’un en a gardé une capture d’écran : https://merveilles.town/@cancel/111834048502040552
Sérieusement ? C’est un rapport de la NASA sur un site officiel en .gov ? Les commentaires étaient peut-être mauvais, mais ça semble en plein dans le cœur des sujets susceptibles d’intéresser HN
Il est assez évident qu’un forum en ligne a besoin d’une bonne modération pour rester sain sur le long terme. HN s’en est bien sorti grâce à une communauté forte qui vote positivement et négativement, et à une équipe de modération qui intervient généralement avec légèreté mais sait refuser quand c’est nécessaire
L’auteur est peut-être parti d’un soupçon, mais au final cela fonctionne comme un assez bon rapport de transparence
L’hypothèse selon laquelle « un post ne peut pas passer de la 30e place au-delà de la 90e en une minute, il a donc forcément été retiré explicitement » est fausse
Le détecteur de débats enflammés, c’est-à-dire le système qui repère les discussions qui s’échauffent, ainsi que les signalements utilisateurs peuvent produire ce genre d’effet, et il existe aussi d’autres mécanismes logiciels. Par exemple, si un post est resté plus de 18 heures en première page, son poids est automatiquement réduit sauf exception manuelle. De plus, les signalements utilisateurs influencent le classement d’une soumission bien avant que la mention
[flagged]n’apparaisseSupposons que quelqu’un surveille le flux en temps réel des soumissions HN, signale les posts qu’il ne veut pas voir, puis demande à ses amis de faire la même chose. Existe-t-il des garde-fous pour éviter que ce comportement n’exerce une influence indue sur ce que certaines personnes ont ou non la possibilité de voir ?
[flagged], quels types de signalements utilisateurs existent et pourquoi cela n’est-il pas public ?Les gens devraient le savoir. Le shadow banning, c’était déjà dépassé dans les années 2010
Il n’y a rien de mal à ce que des utilisateurs construisent ce genre d’outil. Les principes selon lesquels HN fonctionne sont assez simples à expliquer et à défendre. En revanche, quelque chose d’aussi complexe est inévitablement brouillon, donc pour le comprendre précisément il faut une grande tolérance au désordre
Mais il est important de corriger les inexactitudes comme l’erreur mentionnée ici : https://news.ycombinator.com/item?id=39231537. Robin89, peux-tu corriger le texte ? Je sais que c’était une hypothèse erronée faite de bonne foi, mais c’est complètement faux
J’ai aussi l’impression qu’il serait plus facile de répondre aux questions ici si les ID HN de la page pointaient vers les vrais fils HN. Là, ils renvoient vers social-protocols.org. Bien sûr, chacun est libre de faire pointer ses liens où il veut, mais cela rend le suivi des questions ici difficile. Chacun arrive avec sa liste du type « qu’est-il arrivé aux posts X, Y, Z, et qu’en est-il de W, V, J », et en principe j’aimerais répondre à tout, mais il y a des limites physiques à ce qu’il est possible de traiter
Je vais être en réunion pendant la majeure partie des prochaines heures, donc si ce fil ne m’enterre pas, j’essaierai de répondre aux questions plus tard
Ce caractère artificiel et ce manque de transparence donnent aux utilisateurs l’impression que le classement est arbitraire et injuste, même s’il y a de bonnes raisons derrière. Ne pourrait-on pas indiquer pour chaque post quelles manipulations ont affecté son rang ou sa présence dans d’autres listes ? Par exemple, une réinitialisation de l’heure de soumission semblerait facile à afficher
Vous pouvez dire qu’une dépondération a eu lieu, mais ce que nous demandons, c’est de voir où cette dépondération s’applique
J’ai du mal à croire quand des utilisateurs de HN disent qu’ils en ont assez des actus sur les LLM, mais moi j’en ai assez, donc vous pouvez les croire.
Cela dit, je ne les signale pas pour cette raison
Je repense souvent à cette phrase quand je réfléchis à la modération. Les gens ont tendance à supposer que tout le monde dans la communauté leur ressemble, et en pratique, seuls les modérateurs ont vraiment une idée du niveau de saturation d’un sujet donné. C’est aussi pour ça que je n’aime pas trop le mème de la liberté d’expression inconditionnelle qui ressort chaque fois que
$corporationbannit$person_i_like. Toute communauté a besoin de modération, et quand elle fonctionne bien, c’est un travail ingrat parce qu’on a l’impression que rien ne se passeL’intelligence collective se lasse très vite de la répétition [2]. Tout l’enjeu est de séparer l’ivraie du bon grain : ici, le bon grain, ce sont les posts qui apportent des informations nouvelles importantes [3], et l’ivraie, ce sont l’énorme masse de posts de suivi et d’imitation [4].
Il est important de noter que les avis sur cette question couvrent un spectre très large. Si vous imaginez un curseur dont les deux extrêmes seraient « n’autoriser aucun post sur
$TOPIC» et « autoriser tous les posts sur$TOPIC», presque chaque utilisateur le placerait à un endroit différent. C’est vrai pour tous les sujets, et encore plus pour les plus grosL’espace de la page d’accueil est la ressource la plus rare sur HN [5], et chaque lecteur a une “signature” différente de préférences sur ce qu’il veut ou ne veut pas y voir. Il est donc non seulement impossible de satisfaire tout le monde, mais même impossible de satisfaire pleinement qui que ce soit. Personne n’est en accord parfait avec la page d’accueil, et pour répondre d’avance à une objection probable, elle n’est évidemment pas non plus en accord parfait avec les préférences des modérateurs
[1] https://hn.algolia.com/?dateRange=all&page=0&prefix=true&que...
[2] https://hn.algolia.com/?dateRange=all&page=0&prefix=false&so...
[3] https://hn.algolia.com/?dateRange=all&page=0&prefix=false&so...
[4] https://hn.algolia.com/?dateRange=all&page=0&prefix=true&que...
[5] https://hn.algolia.com/?dateRange=all&page=0&prefix=true&que...
Ces sujets m’intéressent aussi jusqu’à un certain point, mais la plupart des articles n’apportent rien de neuf et ne sont que des réactions à la dernière affaire problématique
S’il faut davantage d’actus sur les LLM, la réponse semble être de créer un site d’actualités LLM et de faire grandir une communauté autour
J’aime vraiment HN, mais je voulais plus d’actus sur le rétrocomputing et le jeu vidéo, donc j’ai créé mon propre site (https://twostopbits.com/) à partir du code source de HN. Ce n’est pas difficile. Il suffit de construire ce que vous voulez et d’en assurer vous-même la modération
J’ai fréquenté diverses communautés en ligne pendant plus de 35 ans, et de loin, la communauté la mieux modérée et la plus durablement réussie que j’aie connue, c’est HN. The Well a aussi été excellent pendant un temps
Je me demande si tu as l’impression qu’une communauté à faible trafic offre réellement le mélange de contenus que tu espérais au départ
Étonnamment, oui, nous aussi, on en a assez des actus sur les LLM
La plupart de ces articles ne sont-ils pas retirés à la suite de signalements d’utilisateurs ?
Ce n’est pas une question rhétorique. Il y a beaucoup de commentaires dans ce fil qui remercient les « modérateurs », mais je ne savais pas qu’il existait une équipe de modération chargée d’entretenir la première page. Quelqu’un peut-il confirmer ?
« Ce n’est pas nous qui avons signalé ce post, ce sont les utilisateurs. C’est presque toujours comme ça pour les soumissions. Voir https://news.ycombinator.com/newsfaq.html »
https://news.ycombinator.com/item?id=39169622
Il y a dang, un administrateur unique qui écrit publiquement, et il est possible qu’il y ait d’autres admins HN qui l’aident, mais quand les gens se plaignent des « modérateurs », de « modérateurs ivres de pouvoir » ou de « censure », dans 99,9 % des cas cela veut surtout dire que d’autres utilisateurs ont vu ce que vous avez dit et qu’on n’avait tout simplement pas envie de le voir ici.
Il est aussi étrange que certaines personnes pensent qu’il existe des « règles » sur ce qui peut être signalé. Il y a bien des lignes directrices, mais comme ce pouvoir appartient à n’importe quel utilisateur ordinaire, il est en pratique utilisé selon ce que chacun estime pertinent. Par exemple, je signale souvent des posts dont je pense que le sujet et l’article sont tout à fait valables, mais qui, chaque fois qu’ils sont discutés sur HN, tournent à une polémique stérile ou se remplissent de commentaires de très faible qualité. Pour moi au moins, signaler n’est pas un jugement sur la « valeur » d’un post, mais simplement sur ce que je n’ai pas envie de voir sur HN.
https://news.ycombinator.com/item?id=39231055
Quand on voit des cas où un post a été pratiquement tué parce que son titre est passé de « Stable Diffusion Turbo on a Raspberry Pi Zero 2 generates an image in 29 minutes » à « OnnxStream: Stable Diffusion XL 1.0 Base on a Raspberry Pi Zero 2 », ou des cas où un post qui était 3e de la première page moins d’une heure après sa soumission a simplement disparu de la première page, si des posts sont signalés de cette manière de façon répétée, il faut à un moment se demander si on n’est pas simplement en train d’inonder la communauté de spam pour promouvoir un lien.
Je comprends que les gens veuillent promouvoir leur travail, mais la communauté aussi a ses préférences. La communauté peut en avoir assez de voir des posts sur les LLM en première page tous les jours. La communauté peut rejeter le spam et signaler les posts.
Je ne sais pas pourquoi il est si difficile de croire que les utilisateurs de HN en ont assez des actualités liées aux LLM. Moi aussi j’en ai assez, mais je n’ai pas le droit de signaler. Il est tout à fait plausible que des utilisateurs de HN qui ont ce droit aient envie de signaler les actualités liées aux LLM.
Il faut être sur la page des commentaires, et pour y aller il suffit de cliquer sur l’horodatage du commentaire.
Si vous n’arrivez même pas à imaginer que les gens puissent en avoir assez des actualités sur les LLM, j’ai un NFT à vous vendre.
Je ne suis pas sûr que l’hypothèse « un post ne peut pas passer en une minute du top 30 à au-delà de la 90e place, donc il a forcément été retiré explicitement » soit valable.
https://news.social-protocols.org/stats?id=39094387 ressemble à un post qui est sorti du top 30 assez vite. C’est peut-être simplement parce qu’un autre contenu est soudainement devenu populaire.
Si l’on regarde les 13 posts listés le lundi 22 janvier 2024, seuls 3 semblent réellement avoir été retirés de HN. Les 10 autres existent toujours.
Le post sur HP https://news.ycombinator.com/item?id=39087776 semble avoir été poussé hors de la première page parce qu’il faisait doublon avec https://news.ycombinator.com/item?id=39060793.
Le post sur Ford https://news.social-protocols.org/stats?id=39089599 semble être un faux positif.
Honnêtement, sur 13 posts, seuls 3 ou 4 ressemblent à une possible modération, et même là cela ne semble pas mauvais. L’histoire du fil barbelé au Texas a-t-elle vraiment sa place sur Hacker News ? J’habite au Texas donc cela m’intéresse, mais je m’attendrais à voir ce genre de sujet ailleurs que sur HN.
Globalement, j’ai l’impression que HN fait bien sa modération.
Si le classement baisse à cause des signalements d’utilisateurs mais que le post n’est pas caché, est-ce explicite ? « Explicite » semble vouloir dire intervention manuelle d’un modérateur, mais je ne vois pas grand-chose qui l’étaye.
C’est politique, oui, mais ce n’est pas un sujet local.