- Hacker Book est un projet qui préserve l’ensemble des données de Hacker News au format SQLite de 2006 à 2025
- Il se compose de 46 399 072 publications au total, réparties en 1 637 shards, et couvre 19 ans d’historique de HN
- Il ne s’agit pas d’une application côté serveur, mais d’une solution utilisant SQLite compilé en WASM, qui télécharge seulement certains shards à la demande pour les afficher
- Via l’interface web, il est possible d’explorer les publications, les utilisateurs et les commentaires, avec une UI proche de la structure en temps réel de HN
- Les publications les mieux classées couvrent des sujets variés comme l’IA, l’open source, l’histoire des technologies et les enjeux de société
- C’est une ressource qui offre aux développeurs et aux chercheurs une base pour l’analyse à long terme des communautés techniques sur Internet
Présentation de Hacker Book
- Hacker Book est un projet qui fournit l’ensemble des données de Hacker News sous la forme d’une base de données SQLite
- Les données couvrent la période du 9 octobre 2006 au 28 décembre 2025
- L’ensemble comprend 46 399 072 éléments (
items), 1 637 shards, pour un volume de 8,5 Go (information en bas de page)
- Le site est accessible à l’adresse https://hackerbook.dosaygo.com/
- L’interface ressemble à celle de Hacker News et affiche la liste des publications, les points, le nombre de commentaires et les informations sur l’auteur
Structure des données et fonctions d’exploration
- Chaque élément comprend le titre de la publication, le domaine source, les points, l’auteur, le nombre de commentaires et l’heure de publication
- La navigation est possible via des pages par utilisateur (
view=user&id=) et des pages de détail par publication (view=item&id=)
- Le lien « More » permet de charger des éléments supplémentaires page par page
Détails techniques
- Les données sont fournies au format SQLite, ce qui permet de les interroger et de les analyser en local
- En regroupant l’historique complet de HN dans une base de données unique, le projet permet aux chercheurs et aux développeurs de mener des analyses de tendances dans le temps
- Une structure de partitionnement des données (
sharding) facilite la gestion efficace d’un volume important de données
Importance du projet
- Il joue le rôle d’archive numérique en préservant 19 ans de connaissances accumulées par la communauté Hacker News
- Il améliore l’accessibilité aux données ouvertes, utiles pour l’étude de l’histoire des technologies ou l’analyse de communautés
- Comme l’indique le slogan « All the HN Belong to You », l’ensemble des archives de la communauté est rendu publiquement explorable par tous
Aucun commentaire pour le moment.