La hausse du classement de Hacker News sur Google

Hausse rapide du classement de Hacker News sur Google

• Bien que Hacker News soit un forum très fréquemment consulté dans les résultats de recherche Google, il était auparavant difficile à trouver sur Google.
• La mise à jour « Hidden Gems » de Google a modifié le classement en privilégiant les analyses et expériences personnelles utiles, avec un accent particulier mis sur les forums.
• Reddit et Quora auraient gagné beaucoup de trafic grâce à cette mise à jour.

Changement de visibilité de Hacker News

• Selon des outils tels que Sistrix et Semrush, la visibilité de Hacker News a progressé de 162 % au Royaume-Uni et de 75 % aux États-Unis.
• Comme Hacker News ne propose que du contenu en anglais, les classements du Royaume-Uni et des États-Unis ont été étudiés.

Les sujets où Hacker News se classe bien

• Le commentaire à la question « Where was GTA made? » est apparu parmi les résultats les mieux classés.
• À la question « Comment dire Monaco en italien ? », le commentaire de desdiv est arrivé en première position.
• L’article de GRAHAM PANTHER se classe bien pour plusieurs mots-clés, dont « ruined my life ».
• Hacker News apparaît aussi bien sur des mots-clés liés aux marques ; par exemple, pour toutes les requêtes concernant le coût de YouTube TV, Google privilégie la publication de thunderbong.
• Hacker News occupe également des positions élevées pour des mots-clés spécifiques comme « libgen mirror » et « 4chan ».

Classement hors technique de Hacker News

• On constate avec surprise que Hacker News monte dans les classements pour une variété de sujets non techniques.

Trafic et classement de mots-clés de Hacker News

• L’évolution du trafic et du classement des mots-clés montre que la croissance de Hacker News est bien plus rapide dans les pays non anglophones qu’aux États-Unis.

Les inconvénients de la visibilité

• La mise à jour « Hidden Gems » de Google a entraîné une forte hausse du spam sur de nombreux sites.
• Les experts SEO peuvent désormais acheter des comptes Reddit, des commentaires et des votes pour promouvoir leurs sites.
• Les Google Groups réapparus via cette mise à jour traitent surtout d’articles sur le free spin, et d’autres plateformes sociales, dont LinkedIn, sont également ciblées par des spammeurs SEO.
• J’espère que cette nouvelle visibilité n’aura pas un impact trop important sur Hacker News.

Point de vue de GN⁺

• La montée de Hacker News dans le classement Google met en avant l’importance des forums et communautés qui fournissent des informations utiles aux utilisateurs.
• On peut voir la modification du classement de Google comme un effort pour améliorer la qualité de l’information et l’expérience utilisateur.
• Ce changement indique également qu’une évolution du SEO est nécessaire, vers une approche qui privilégie l’authenticité et la valeur du contenu.

[GN⁺]

Avis sur Hacker News

• Je me demande si Google n’a pas commencé à faire davantage confiance aux sites dotés de politiques de modération strictes, comme stratégie de validation pour filtrer les posts générés par des LLM
  On pourrait même dire que novembre 2022 a peut-être été une nouvelle forme d’Eternal September pour l’ensemble du web

  • J’irais même jusqu’à demander si Google a vraiment d’autre choix
    S’il est impossible de créer un détecteur de contenu généré par LLM vraiment efficace, on se retrouve face au problème gênant d’extraire sur Internet du contenu connu comme étant produit par des humains, tant que nous sommes encore d’accord sur ce que signifie « savoir »
    Il y a un parallèle intéressant avec https://en.wikipedia.org/wiki/Low-background_steel
  • L’exode après le changement d’API de Reddit a peut-être aussi joué
    Il ne faut pas sous-estimer la préférence des gens pour les bons logiciels open source ou les clients tiers
  • Je définirais ainsi l’Eternal AI September : les sites web qui existaient déjà avant novembre 2022 et publiaient toujours le même type de contenu sont considérés comme sûrs, tandis que les autres sont soumis à une vérification pour bloquer le contenu généré par LLM
  • De la même manière, HN est déjà une source importante de données pour l’entraînement des grands modèles de langage
    Par exemple, l’article RefinedWeb cite HN parmi les 12 seuls sites exclus. Si j’ai bien compris, HN a été exclu parce qu’il entrait dans le dataset final sans validation, et RefinedWeb a été utilisé pour le modèle Falcon
    https://arxiv.org/pdf/2306.01116.pdf
  • Je pense qu’une part considérable du contenu textuel qu’on voit en ligne est générée par des LLM. Je ne suis même pas certain de l’exception que représente HN à cet égard
    C’est probablement mieux que la plupart des endroits, mais en 2024 il est devenu trop facile de générer avec un LLM des textes qui ont l’air écrits par des humains et de les publier. Avant novembre 2022, la majeure partie d’Internet n’était pas générée par IA, hormis quelques exceptions ponctuelles comme Seychelles Anon ou SubredditSimGPT2

• Après avoir téléchargé Brave, j’ai tapé « news » dans la barre de recherche, et ça m’a amené ici automatiquement, donc je me suis mis à utiliser HN
  J’ai été immédiatement séduit par la diversité des articles et la qualité des échanges, et je suis resté bien plus longtemps que prévu, mais comme Reddit ou Xitter, HN finira sans doute par connaître le sort des réseaux sociaux populaires, et ça n’arrivera peut-être pas si tard
  Le cœur du problème, c’est le contrôle social, et si on ne peut pas le monopoliser, on ne peut pas gagner. J’espère seulement que Dang tiendra le plus longtemps possible, et HN sera probablement la Masada d’Internet. Bon, 4chan existe encore aussi, et 4chan survivra sans doute longtemps après la mort de tous les autres réseaux sociaux

  • Si tu viens d’arriver, tu ne le sais peut-être pas, mais le mème selon lequel HN est en train de devenir Reddit existe depuis au moins 17 ans, et c’était déjà le dernier point des Hacker News Guidelines : https://news.ycombinator.com/newsguidelines.html
  • Une manière simple d’éviter l’enshittification, c’est de ne pas devenir trop célèbre dès le départ, et l’une des méthodes consiste à ajuster les performances du site pour limiter à un certain volume le nombre de requêtes par minute qu’il traite
  • Est-ce que quelqu’un sait quel est le plan pour les opérations de modération de Hacker News après le départ à la retraite de dang ?

• Donc la théorie, c’est que les bots vont désormais envahir HN pour pousser ce qu’ils veulent faire monter dans le classement et dégrader la valeur du site ? Quelle serait la défense ?

  • C’est un peu ce qui m’inquiète. Franchement, je suis surpris qu’il y ait aussi peu de spam sur HN, donc il y a peut-être déjà un bon système anti-spam en place
    Si tous les liens externes étaient mis en nofollow pour que Google les ignore, ce serait sans doute moins attractif du point de vue du référencement
  • Il suffit de couper totalement l’accès à Google, comme on ampute un membre infecté
    Ou alors on pourrait séparer HN entre une branche active et une branche d’archives, cette dernière n’étant ouverte à Google que pour les posts ayant dépassé un certain seuil de recommandations
  • Ces dernières semaines, j’ai vu davantage de posts d’arnaques crypto qu’avant
    Ils sont rapidement marqués dead, mais je ne sais pas si c’est juste qu’ils arrivent plus vite qu’autrefois
  • HN peut changer robots.txt à tout moment pour bloquer le crawling de Google
    J’ai aussi pas mal d’amis plutôt copyleft qui font ça sur leurs blogs et sites pour bloquer l’indexation par Google/Bing
  • La défense, ce n’est pas d’exclure le crawler de Google de l’index et de l’affamer ou le bloquer ? Manipuler le classement Google n’a aucun intérêt si on n’y figure pas

• Sur Kagi, je pouvais remonter HN dans les résultats de recherche et faire descendre d’autres sites parce que je le voulais, pas parce qu’un employé de l’équipe Search de Google avait préparé un slide deck sur HN
  https://help.kagi.com/kagi/features/website-info-personalize...
  Ce sont les 10 dollars mensuels que je dépense avec le plus de satisfaction

  • C’est à cause de ce commentaire que j’ai fini par essayer Kagi, et wow. Je ne réalisais pas tout ce qui me manquait avec les moteurs de recherche
    Pouvoir épingler et bloquer des sites web dans la recherche, ça paraît évident une fois qu’on le voit, mais c’est vraiment génial

• Ce qui m’inquiète ici, c’est aussi la tendance de Google à utiliser des commentaires arbitraires comme source de snippets
  Je comprends que l’auteur moyen d’un commentaire sur HN apporte plus de soin à ses commentaires et à leur véracité que l’internaute moyen, mais ça reste problématique
  Dans mon cas, si je cherche Monaco en italien, le premier « résultat » est un widget Google Translate adossé à Collins Dictionary, et les trois premiers liens sont Wikipedia et Quora. HN se trouve encore 4 ou 5 liens plus bas
  Et j’espère que les spammeurs ne finiront pas par submerger dang

• Quand je cherche quelque chose, je commence généralement par chercher d’abord sur HN, puis je passe par Google pour trouver Reddit, et en dernier recours j’utilise le vieux et triste Google
  Quand Google est arrivé, c’était la réponse que tout le monde attendait avec impatience, presque tout ce qu’on voulait, et ce n’était même pas « evil »
  Aujourd’hui, on a l’impression que les gens chez Google ne se soucient que d’atteindre le seuil de leur bonus annuel, quoi qu’il arrive à l’entreprise
  Je pense que d’ici 1 à 3 ans, une autre société émergera et prendra le marché de la recherche comme Google l’avait fait autrefois. Cela dit, Google n’a pas à s’inquiéter. Cette société aussi ne sera « qu’une entreprise de recherche »

  • Vous le pensez vraiment ? Vous croyez que cette entreprise existe déjà ?

• À Google : si nous ajoutions site:reddit.com ou site:news.ycombinator.com à nos requêtes, c’était pour atteindre des avis non manipulés par les tripoteurs du SEO. Quelle est l’alternative maintenant ?

  • Les spammeurs visent Reddit de façon agressive depuis des années, mais site:reddit.com reste encore utile
    Je ne comprends pas pourquoi Google n’a pas racheté Reddit. Il y aurait certes des problèmes de modération, mais AMZN y est bien arrivé avec Twitch
  • Il faudrait quelque chose comme age:1year. Quand je fais des recherches techniques, je ne veux presque jamais d’un post StackOverflow de 2014
    Et je préfère ne même pas parler de ce qu’est devenue la recherche de produits ou de choses à acheter. Il faut environ 4 clics pour arriver sur une page de boutique, et l’ouverture dans un nouvel onglet ne fonctionne plus du tout correctement
  • La mise à jour Hidden Gem de Google est présentée comme une « opportunité » positive d’apporter aux utilisateurs un contenu plus utile, mais j’y vois en réalité une manœuvre défensive face à un algorithme complètement manipulé et à une qualité de recherche devenue catastrophique
    Désormais, même des requêtes simples renvoient régulièrement des montagnes visibles de spam de moteurs de recherche
    Ajoutez à cela le fait que, pour certains termes, Google remplit presque toute la première page de résultats avec du contenu sponsorisé, et son utilité a chuté d’un facteur à un seul chiffre. Ce chiffre, je l’ai calculé très soigneusement
    Et cette baisse de qualité s’est produite exactement au moment où ChatGPT est apparu. Personnellement, je saute de plus en plus souvent complètement Google pour utiliser ChatGPT à la place. Je me demande combien de personnes font la même chose, et à quel point ça sent la panique du côté de Big G
  • Quand je cherche des produits haut de gamme, j’ai commencé à regarder de plus petits YouTubers plutôt que Reddit
    Par exemple, cette chaîne est excellente : https://www.youtube.com/channel/UC2rzsm1Qi6N1X-wuOg_p0Ng

• @dang pense qu’avec l’intérêt croissant de Google, des marketeurs vont lancer des opérations d’influence en exploitant l’influence et le classement de HN dans les recherches, ce qui exercera une pression à la baisse sur la qualité de HN
  Il se demande s’il serait envisageable d’exclure le site de l’indexation via robots.txt

  • HN subit depuis longtemps une pression à la baisse sur la qualité, et la question de savoir comment y résister était l’idée centrale dès le départ
    HN est une expérience. En principe, quand un site communautaire devient populaire, sa qualité baisse. Notre hypothèse est que ce n’est pas inévitable. Si l’on résiste consciemment au déclin, on peut empêcher que cela arrive. - https://news.ycombinator.com/newswelcome.html
    C’est un texte que pg a écrit il y a plus de 15 ans. Moi, ça ne fait que 10 ans que je dis que nous essayons de contrer la flèche de l’entropie d’Internet : https://hn.algolia.com/?dateRange=all&page=0&prefix=true&que... – ce n’est pas possible éternellement, mais avec suffisamment d’énergie, c’est possible pendant un certain temps
    Jusqu’ici, l’expérience montre que la méthode repose sur une combinaison d’une communauté engagée, d’un logiciel qui fait ce que le logiciel peut faire, et d’une modération qui repousse le système hors de ses modes de défaillance
    Se cacher du monde extérieur n’est généralement pas la solution. pg a parfois utilisé des astuces comme Erlang Day, mais en faire une stratégie principale reviendrait à ne jamais sortir pour éviter les infections. Si possible, il vaut bien mieux avoir un système immunitaire robuste. Si l’on cherche seulement à éviter les agents pathogènes auxquels on pourrait résister, le système immunitaire s’affaiblit, et cacher HN aux nouveaux utilisateurs mène à la sénescence. À mon avis, cette seconde menace est plus grave, et les utilisateurs existants la sous-estiment beaucoup trop facilement
    Le spam et ses cousins comme le content marketing pourraient tuer HN si l’échelle augmentait de plusieurs ordres de grandeur, mais de mon point de vue, ce n’est pas le problème le plus difficile sur HN. C’est parce qu’il existe une communauté engagée et sensible à la qualité, qui signale ce genre de choses, et les dénonce quand elles passent à travers les mailles du filet. Sans une telle communauté, HN serait mort depuis longtemps
    Le problème bien plus difficile, ce sont les commentaires de mauvaise qualité. Je ne parle pas d’utilisateurs malveillants, car la communauté les signale et les dénonce efficacement. Le problème, ce sont les commentaires médiocres ou mesquins que des utilisateurs par ailleurs corrects écrivent sans le vouloir ni s’en rendre compte. Il existe une dynamique inquiétante entre ces commentaires et les systèmes de recommandation, si bien que des commentaires moins bons sont assez souvent plus recommandés que de meilleurs commentaires, et les fils finissent par être envahis par les mauvaises herbes. C’est le plus gros morceau et ce qui m’inquiète le plus. Pas Cassandra E Oakley et son système d’échange, ni la dernière organisation de vote de startup. Si un jour ces choses-là deviennent le plus gros morceau, alors nous serons peut-être fichus, mais nous le verrons probablement assez tôt pour ajuster le tir
    P.-S. : @dang ne fonctionne pas. Je suis juste tombé dessus par hasard. Enfin, pas vraiment par hasard, puisque c’est remonté tout en haut du fil
    • https://news.ycombinator.com/item?id=39425371 - laissé en vie pour ce cas précis
  • Les mentions ne fonctionnent pas ici, donc il faut envoyer un e-mail à hn [at] ycombinator.com
    Cela dit, si vous faites ça, il faudra aussi bloquer tous les bots d’IA et moteurs de recherche au niveau des adresses IP
  • Cet argument mérite d’être développé correctement. En même temps, il devrait aussi y avoir l’argument qu’un plus grand nombre de bons contributeurs peut arriver
    En pratique, si davantage de personnes n’ont pas cet état d’esprit qui consiste à vouloir bloquer et entraver la visibilité, comme dans ce post, le sentiment global pourrait être nettement positif
  • Personnellement, et aussi en tant que « vous comme voix de la communauté », on dirait que vous essayez d’ériger des murs autour de quelque chose qui ne vous appartient pas entièrement
    Le billet de blog lié n’explique pas vraiment que « HN est devenu cool », mais plutôt que Google est tombé dans les déchets guidés par la pub, et que pour maintenir une qualité supportable, il doit s’appuyer sur une structure externe sélectionnée manuellement
  • Si l’intérêt de Google augmente, je pense qu’on verra soudain apparaître et s’accumuler des traqueurs, ce qui exercera une pression d’enshittification sur la qualité du code, et qu’au final le web sera vendu aux grands éditeurs puis plus tard aux entreprises d’entraînement IA
    Regarder HN à l’ère du capitalisme de surveillance est rassurant
    Édition : HN utilise Google Tag Manager et Analytics, Amplitude, branch.io

• J’ai toujours trouvé étrange que HN n’apparaisse pas dans les résultats de recherche
  Le contenu ici a un rapport signal/bruit très élevé et semblait cocher toutes les cases de l’optimisation pour Google. Donc, s’il n’apparaissait pas, je pensais que c’était intentionnel, et je supposais que dang l’excluait volontairement de l’indexation et bloquait les bots
  Maintenant qu’il commence à apparaître, j’aimerais qu’on revienne à la situation d’avant. La seule raison pour laquelle je lis autant HN, c’est qu’il inspire une grande confiance. Même sans connaître la plupart des auteurs des commentaires, je peux facilement évaluer le contenu, trouver les sources, découvrir des outils étonnants et lire directement les fondateurs
  Je ne veux vraiment, vraiment pas commencer à m’inquiéter que la page d’accueil soit désormais de la publicité

  • La page d’accueil a toujours été de la publicité. C’est presque tout l’objectif de ce site web, non ?
    Le nom de domaine à lui seul le suggère

• Que se passerait-il si HN grandissait au-delà de sa forme actuelle ? Déjà maintenant, la page d’accueil défile assez vite, et les posts sont vite enterrés
  Il m’arrive de voir un post ou des commentaires intéressants, de me dire que j’y reviendrai plus tard quand j’aurai le temps, mais d’ici là ils ont été repoussés plusieurs pages plus loin

  • Fait intéressant, le nombre de soumissions par jour n’a pas vraiment augmenté depuis 2011
    Tout le reste sur HN a globalement augmenté de façon linéaire, mais pas le nombre de soumissions