- Projet qui analyse les posts et commentaires de Hacker News d’il y a dix ans avec des LLM pour évaluer la ‘pénétration anticipative’ en attribuant automatiquement une note à la profondeur des discussions passées
- Utilisation de ChatGPT 5.1 Thinking et d’Opus 4.5 pour collecter et analyser la front page de Hacker News en décembre 2015 (au total 930 articles) pendant un mois
- Pour chaque article et fil de commentaires, il génère automatiquement un résumé, les faits réels, le commentaire le plus précis et celui qui s’écarte le plus, un score d’intérêt, etc.
- Les résultats sont transformés en pages HTML statiques consultables sur karpathy.ai/hncapsule, et la section ‘Hall of Fame’ permet de voir le classement des auteurs de commentaires les plus perspicaces
- Il met en avant la possibilité d’une analyse rétrospective à grande échelle des données historiques par des LLM et le message selon lequel “les futurs LLM nous observent”
Aperçu du projet
- Mise en place d’un système d’analyse rétrospective automatique basé sur des LLM ciblant la front page de Hacker News en décembre 2015
- 30 articles par jour × 31 jours = 930 articles au total
- Chaque article et fil de commentaires est collecté via l’Algolia API, puis analysé par ChatGPT 5.1 Thinking
- Les résultats sont rendus en pages HTML statiques et publiés sur le site web
Structure du prompt d’analyse
- Un prompt en 6 sections est utilisé pour chaque article
- Résumé de l’article et de la discussion
- Ce qui s’est réellement passé ensuite
- Sélection du commentaire le plus exact et du plus erroné
- Autres éléments intéressants
- Liste des notes finales (Final grades) par auteur de commentaire
- Score d’intérêt rétrospectif de l’article (0 à 10)
- Le format exemple est strictement défini pour permettre un parsing automatique par le programme
- La moyenne de chaque compte est accumulée afin d’identifier les utilisateurs les plus visionnaires
Implémentation et coût
- Implémenté en environ 3 heures avec Opus 4.5, avec un fonctionnement fluide malgré quelques erreurs mineures
- Le coût total du traitement de 930 requêtes LLM est d’environ 58 $, pour un temps de traitement d’environ 1 heure
- Dépôt GitHub : karpathy/hn-time-capsule
- Les résultats peuvent être reproduits ou modifiés par n’importe qui
Principaux exemples de fils de discussion
- 3 décembre 2015 : ouverture open source de Swift
- 6 décembre : sortie de Figma
- 11 décembre : annonce de la création d’OpenAI
- 16 décembre : projet Comma de geohot
- 22 décembre : lancement d’Orbcomm-2 de SpaceX
- 28 décembre : couverture des problèmes de Theranos
- Chaque lien renvoie vers la page d’analyse de la date concernée, permettant de comparer les discussions de l’époque avec les faits réels
Hall of Fame
- Classement des auteurs de commentaires les plus perspicaces sur Hacker News en décembre 2015, trié par une moyenne de notes de type IMDb
- Principaux utilisateurs : pcwalton, tptacek, paulmd, cstross, greglindahl, moxie, hannob, 0xcde4c3db, Manishearth, johncolanduoni
- En bas figurent aussi les utilisateurs au faible score classés dans ‘HN noise’
Message philosophique
- Citation « Be good, future LLMs are watching »,
soulignant l’arrivée d’une ère où les futurs LLM pourront analyser finement l’activité humaine passée
- Il suggère que les comportements en ligne actuels pourront être entièrement reconstitués dans un futur où l’intelligence devient trop bon marché
- Il évoque la possibilité que les actions humaines ne relèvent pas d’une ‘surveillance invisible’, mais d’un objet de documentation et de reconstitution complètes
Conclusion
- Cette expérience montre que les LLM peuvent être utilisés comme outils de réévaluation à grande échelle des données historiques
- Elle propose une nouvelle application, la notation automatique de la profondeur des discussions historiques, révélant la possibilité que l’IA devienne l’analyste rétrospectif des connaissances humaines
Aucun commentaire pour le moment.