Cartographier Hacker News pour trouver qui sait quoi dans la communauté HN

 (blog.wilsonl.in)
1 points par GN⁺ 2024-07-27 | 1 commentaires | Partager sur WhatsApp

40 million d’embeddings pour trouver qui sait quoi sur Hacker News

Contexte du projet

  • Dans un précédent billet, l’auteur a généré des embeddings pour les 40 millions de publications et commentaires de Hacker News afin de créer une carte sémantique de la communauté
  • Il a constaté que la communauté soutenait le projet et que, via les suggestions proposées, elle se réduisait rapidement à des relations réelles à l’échelle mondiale
  • À travers une conversation avec Robert, il a évoqué son travail de 2008 sur la construction d’un algorithme de signification sociale
  • Il s’est dit surpris que, même 16 ans plus tard, des réseaux sociaux comme Hacker News ne calculent ni n’affichent encore des voix fiables par sujet

Questions principales

  • Pourquoi est-il si difficile de découvrir et d’explorer les personnes les plus compétentes sur un sujet donné ?
  • Quelle est l’étendue de leurs connaissances et comment sont-elles reliées à des personnes qui pensent de manière similaire ?

Nouvelles fonctionnalités de l’application

  • Une nouvelle application permet d’explorer et d’interagir avec la carte sémantique de Hacker News (hn2.wilsonl.in)

Points intéressants mis en évidence

  • Organisation sémantique des utilisateurs : la signification de la communauté est structurée en partant des utilisateurs, avec une représentation sémantique des contributions HN aux côtés d’utilisateurs similaires
    • Exemple : consulter le nouveau profil de robg
  • Recherche sémantique : il est possible de rechercher la signification de HN en fonction de qui connaît quoi
    • Exemples de requêtes : startups, programmation Go vs Rust, neurosciences et sommeil, marketing par e-mail
  • Cartographie de la communauté : la communauté peut être cartographiée à partir de la signification liée à qui sait quoi
    • Comme les connaissances ne sont pas réparties uniformément, le relief de la communauté peut mettre en avant les personnes et ce qu’elles savent

Potentiel de la technologie

  • En combinant les trois fonctions — organiser la signification, effectuer des recherches et cartographier la communauté — il devient possible de montrer les personnes derrière les mots
  • Au lieu d’organiser l’information du monde, on peut organiser les personnes du monde
  • Cela amène à réfléchir à divers défis liés à la connaissance sociale
  • L’auteur recommande aux personnes qui souhaitent explorer le projet avec lui au fil de ses avancées de s’inscrire sur la liste d’attente

Résumé GN⁺

  • Ce projet propose une manière de trouver et d’explorer des experts sur des sujets précis à travers une carte sémantique de la communauté Hacker News
  • Il analyse sémantiquement les contributions des utilisateurs et visualise leurs relations avec des utilisateurs similaires
  • La fonction de recherche permet de trouver facilement des personnes disposant de connaissances sur des sujets précis
  • Le relief de la communauté met en avant les personnes et ce qu’elles savent
  • Ce projet offre une nouvelle manière de connecter les personnes et de partager les connaissances

À lire aussi

1 commentaires

 
GN⁺ 2024-07-27
Avis sur Hacker News

  • Personnellement, j’aime le fait que HN se concentre sur le contenu et les discussions plutôt que sur les utilisateurs individuellement. Si je voulais suivre des experts, je créerais sans doute moi-même une liste sur un réseau social comme Mastodon, ou je bricolerais un flux RSS
    Cet outil semble mieux repérer les commentateurs actifs que les experts compétents, et il y a aussi le problème des comptes jetables. Cela dit, c’est un super projet

    • Personnellement, je ne lis pas les noms d’utilisateur. C’est le moyen le plus simple de se concentrer sur les commentaires, et l’absence d’éléments comme des avatars ou signatures aide beaucoup aussi
      Je ne me souviens absolument pas avec qui j’ai débattu sur HN, mais ça a sûrement dû arriver plusieurs fois
    • Même impression. J’aime le fait qu’ici, comme il n’y a pas d’avatars, etc., tout soit centré sur le contenu
      En même temps, je trouve aussi que le projet de l’article est excellent
    • Le plus intéressant, ce sera sans doute les espaces vides. Parce que les tendances dans ce qui est absent sont les plus difficiles à remarquer. Quels sont les angles morts que Hacker News manque d’une manière quantifiable ?
    • Curater soi-même une liste d’experts à suivre demande pas mal d’efforts. Ce serait bien d’avoir un outil pour aider à le faire
      Idéalement, il suffirait de regarder le contenu sans avoir besoin d’une liste d’experts de confiance, mais il fut un temps où taper « quelle est la meilleure base de données à utiliser » dans un moteur de recherche donnait des résultats utiles. Ce n’est plus le cas. HN est peut-être encore meilleur que d’autres endroits, mais il finit par souffrir de problèmes similaires
    • Je pense qu’on pourrait faire monter d’un cran la couche sociale pour permettre des liens plus profonds avec des personnes ayant des centres d’intérêt similaires
      Ainsi, on ne compterait pas seulement les contributions, mais aussi la façon dont ces contributions se connectent à celles des autres

  • Sur la page https://hn2.wilsonl.in/user/simonw, sous la carte, il y a « Risk of COVID from pianos ». J’aimerais vraiment savoir d’où ça sort

    • Ça ressemble au résumé de ce commentaire : https://news.ycombinator.com/item?id=30105274
      Si vous zoomez et déplacez le curseur rouge sur l’emplacement/le texte correspondant sur la carte, le commentaire d’origine apparaît sous la carte
    • Y aurait-il aussi un risque que la COVID provoque l’apparition de pianos ?
      Comme au début de la pandémie, quand les ventes de guitares et de matériel de gym à domicile ont augmenté parce que les gens cherchaient des passe-temps à faire chez eux
    • Mes résultats semblent assez exacts. Il y est question d’accélération RDP, de firmware d’imprimante 3D, de gestes Graffiti sur écran tactile, et de Linux mainline sur SBC : ce sont tous mes hobbies
      Je commente très peu sur mon vrai travail, à savoir l’architecture cloud, le réseau, et sur l’IA, un domaine beaucoup trop encombré. Bizarrement, il y a très peu de choses liées à Apple, ce qui est très ironique quand on pense à mon blog. Donc cet outil montre ce dont les gens discutent ici, mais pas nécessairement ce qu’ils savent
    • Je me demande s’il serait utile de rendre les points plus interactifs

  • https://hn2.wilsonl.in/user/c0l0 — apparemment, je serais un expert de premier plan en optimisation de la conception des abattants de toilettes. Posez-moi toutes vos questions

    • Vu qu’il y a ici une autorité en conception de boutons de double chasse, je crois qu’il faut que je m’incline
    • Sur quoi se base-t-on pour déterminer précisément ce pour quoi je suis connu ?
      Ma page contient énormément d’éléments : https://hn2.wilsonl.in/user/AndrewKemendo
    • Mes résultats sont un foutoir totalement absurde. À bien y réfléchir, c’est logique. Moi aussi, je le suis
      https://hn2.wilsonl.in/user/SketchySeaBeast
    • Ce n’est rien. Moi, je suis mondialement célèbre pour mon analyse comparative de l’efficacité des cheminées
      Je me demande si, lors de la création des embeddings, ils n’ont pas utilisé l’IDF, donnant ainsi un poids excessif à des groupes de mots rares

  • Article récent lié :
    Show HN : explorer HN en cartographiant et en analysant 40 millions de publications et commentaires HN pour le plaisir - https://news.ycombinator.com/item?id=40307519 - mai 2024, 159 commentaires

    • C’est incroyable que HN ait relié Wilson et moi au-delà de 16 ans et de distances à l’échelle mondiale
      C’est grâce à des communautés comme HN que je garde espoir dans l’avenir de la confiance sur Internet

  • Il semble avoir extrait mon e-mail du texte de mon profil pour en faire un lien mailto: ; j’admets qu’il n’était pas assez masqué selon les standards actuels des LLM
    Mais comme cela facilite quand même la collecte, je me demande si je devrais remercier les spammeurs à faible effort en leur nom

    • Je me demande s’il existe encore vraiment des bots de spam à faible effort qui aspirent les liens mailto:, ou si nous continuons simplement à pratiquer l’obfuscation d’e-mail comme un culte du cargo
      Le spam a énormément changé depuis cette époque ; cette stratégie est-elle encore utilisée ?
    • Même un LLM basique devrait pouvoir défaire les tentatives de dissimulation d’e-mails façon années 2000
      Par exemple le genre d’obfuscation où un ami écrit « firstname [cute arobase sign] domain.com » sur la page de contact d’un blog populaire
    • D’habitude, je ne me soucie pas beaucoup de ce genre de choses, mais là, ce n’est pas acceptable. Le mien a été traité de la même façon
      Existe-t-il un moyen de faire un opt-out de cette fonctionnalité ?
    • Dans mon cas, il a échoué au décodage base64

  • Je me souviens d’un outil posté ici il y a quelques années, qui avait suscité pas mal de controverse. Il utilisait l’analyse du style et la stylométrie pour trouver des « utilisateurs similaires » : en entrant un nom d’utilisateur, il retrouvait vraisemblablement les comptes secondaires de la même personne.
    D’après ce qu’on m’a dit, c’était précis à en donner des frissons — du moins c’est ce qu’un ami ayant des comptes secondaires m’a raconté. Est-ce que cet outil pourrait aussi être détourné à cette fin ? On pourrait encoder sous forme de vecteurs la « carte » rendue dans l’avatar de chaque utilisateur, puis la comparer à celles d’autres utilisateurs.
    Modification : attendez, je viens de réaliser qu’il semble déjà faire ça. Même si « Explore More Users » ne montre pas immédiatement si c’est trié par similarité.

    • Il y a de fortes chances que ce soit moins efficace pour trouver des comptes secondaires de cette façon. Les gens utilisent généralement un compte secondaire pour participer à des discussions auxquelles ils ne veulent pas être associés via leur compte principal.
      Les sujets auxquels participe un compte secondaire — employeur, politique ou autres — sont donc susceptibles d’être différents. En revanche, si le style fonctionne, c’est parce que peu de gens peuvent fondamentalement changer leur façon d’écrire, même en faisant des efforts.
    • C’était probablement ceci : https://news.ycombinator.com/item?id=33755016
    • J’avais créé un système qui faisait ce genre de choses il y a quelques années : https://x.com/austingwalters/status/1041894765439201281
      Ironiquement, à l’époque comme depuis, j’ai presque toujours utilisé uniquement des embeddings, mais ce système-ci n’en utilise pas. Le principal problème des embeddings, c’est qu’ils évoluent mal avec le temps. On peut les ajuster, mais ce n’est pas aussi simple qu’avec d’autres méthodes. Le langage est rempli d’abréviations propres à chaque secteur, et les modèles s’adaptent généralement mal aux expressions et abréviations qui changent. Au final, j’ai combiné quelques éléments de plus et en ai fait une entreprise : https://ipcopilot.ai
      En ce moment, je cherche des idées sur Hacker News pour une démo : https://m.youtube.com/watch?v=B5ymgh-ZDiI&pp=ygUKSXAgY29waWx...
    • Une approche qui résume en quelque sorte les utilisateurs pourrait être intéressante.
      Par exemple, user123 est plutôt drôle, s’exprime clairement, s’intéresse à TypeScript et au développement web, et obtient des scores élevés en conscienciosité et en extraversion.
    • C’est intéressant, mais moi aussi je trouve ça un peu flippant. J’aimerais savoir comment on pourrait mieux faire pour réduire cet aspect.

  • Mon nom d’utilisateur vient de l’autre moi du narrateur dans Zen and the Art of Motorcycle Maintenance. C’est lié au passage sur le couteau de l’analyse.
    “Phædrus was a master with this knife, and used it with dexterity and a sense of power. With a single stroke of analytic thought he split the whole world into parts of his own choosing, split the parts and split the fragments of the parts, finer and finer and finer until he had reduced it to what he wanted it to be. Even the special use of the terms "classic" and "romantic" are examples of his knifemanship.”
    Je ne sais pas si le nom a façonné le destin, si je me connaissais assez pour choisir ce nom, ou si j’utilise simplement trop ces mots, mais mes mots-clés incluent « part, system, level, language, article, object », entre autres.

  • J’ai eu un peu de mal à explorer réellement avec mon nom d’utilisateur, et à part parsemer beaucoup de points sur toute la carte, il ne semble pas montrer grand-chose.
    J’essaie de comprendre ce que représentent les clusters dans leur ensemble, mais la plupart semblent être simplement android/apple/google : https://hn2.wilsonl.in/user/mmastrac

    • Donc le fait que j’aie une expertise sur Apple, Google et Tesla n’a rien de particulièrement distinctif ?

  • Intéressant. J’avais remarqué que mon commentaire ayant reçu le plus de votes était une réponse à une question juridique. C’est parce que j’ai relativement plus d’expertise dans ce domaine que la plupart des utilisateurs de HN. J’ai été avocat par le passé.
    D’après cet outil, je ne fais pas partie des principaux commentateurs pour law/legal/lawyer, mais je reconnais clairement certains des noms en tête et je me souviens les avoir vus dans des fils juridiques. C’est un outil assez chouette.

    • L’API de HN inclut-elle aussi les scores des commentaires ?

  • Ce qu’il y a de mieux avec HN, c’est que les commentaires donnent une impression assez éphémère. Je n’aime pas l’idée qu’ils soient analysés sans mon accord et exposés publiquement
    Il n’y a rien de particulièrement intéressant à mon sujet sur cette page, mais ça me met mal à l’aise. Tout n’a pas besoin d’être analysé, et il n’est pas nécessaire d’être en compétition partout. Ce que je veux dire, c’est que j’aime le fait que l’accent soit mis sur le contenu, et non sur la personne qui parle. En voyant ça, j’ai supprimé mon identifiant Twitter de ma bio. Ce serait appréciable que l’app le mette aussi à jour

    • À propos de l’idée que « les commentaires donnent une impression assez éphémère », j’utilise une extension Google Chrome qui s’allume lorsqu’il y a des commentaires HN sur la page que je consulte
      Quand je découvre naturellement un billet de blog et que l’indicateur s’allume, je lis souvent les commentaires, même si l’article date de plusieurs années. J’y trouve souvent des éclairages ou du contexte utiles
    • Pour information à tous ceux qui lisent ceci, les commentaires sont tout le contraire d’éphémères. Après une très courte période initiale, il n’est plus possible de les supprimer ni de les modifier
      Donc tout ce que vous dites ici peut rester associé à vous pour toujours, et c’est même susceptible d’arriver. Directement, ou de manière plus floue comme le montre cet outil
    • Je connais ce sentiment. Je l’ai ressenti aussi
      Mais j’ai compris qu’en deux clics depuis n’importe quel commentaire, on arrivait à ce type de requête : https://news.ycombinator.com/threads?id=RamblingCTO
    • Les commentaires ici n’ont jamais été éphémères
      Hacker News lui-même fournit depuis des années une API temps réel quasiment gratuite et plusieurs grands jeux de données, dans le but de permettre à n’importe qui d’analyser facilement les commentaires ici : https://github.com/HackerNews/API
      Aucun commentaire écrit sur Internet n’a jamais été éphémère. On a même cessé de faire semblant qu’ils l’étaient il y a plus de vingt ans