- En s’appuyant sur de vraies données de commentaires de Hacker News, l’expérience a utilisé 1 903 personas IA pour prédire si le titre d’un post deviendrait viral, avec une précision de 60 %
- Cela représente une performance 20 % supérieure à une estimation aléatoire, ce qui ouvre aussi la voie à un possible remplacement des études de marché classiques, tout en montrant que les dynamiques de diffusion sociale sont la principale difficulté de la prédiction
- L’analyse des cas d’échec montre que la chance et le timing, notamment les quelques premiers upvotes, peuvent changer l’issue finale
- Ces résultats suggèrent que l’IA peut bien modéliser les préférences individuelles, mais atteint ses limites pour prédire le succès viral
- L’auteur conseille d’utiliser les études de marché par IA non pas pour prévoir avec exactitude, mais pour explorer des directions, en privilégiant l’évaluation relative et les simulations répétées
Aperçu de l’expérience et résultats
Méthode : une communauté Hacker News virtuelle composée d’IA
- Collecte de 1 147 titres de posts Hacker News publiés le 12 mars 2025
- Création de 1 903 personas IA à partir de vrais commentaires d’utilisateurs, puis question posée à chaque persona : « voterait-il positivement pour ce titre ? »
- Des posts réellement bien classés et mal classés ont ensuite été mélangés afin de mesurer la précision des prédictions
- Le taux de réussite de la prédiction atteint 60 %, soit un résultat nettement supérieur au hasard (50 %)
Cas d’échec et limites de la prédiction
- « Gemma 3: Google’s new multimodal models » a été prédit comme viral par l’IA, mais n’a en réalité obtenu que 4 upvotes
- À l’inverse, « Gemma 3 Technical Report [pdf] », sur le même sujet, a enregistré 1 324 upvotes
- De même, un titre sensationnaliste comme « TSA finds live turtle in man’s pants » a été jugé prometteur par l’IA, mais a finalement échoué
Analyse des causes
- Le caractère viral dépend bien davantage du contexte social — exposition initiale, nombre d’upvotes, timing — que de la seule qualité intrinsèque du contenu
- Une étude de Princeton a montré qu’en exposant différemment une même liste de chansons selon les groupes, certains morceaux devenaient soit de grands succès, soit des échecs complets
- Conclusion : les effets de réseau dominent : ce n’est pas tant « le bon contenu réussit » que « le contenu exposé au bon moment réussit davantage »
Implications pratiques : comment utiliser les études de marché par IA
- Les prédictions par personas IA ne sont pas parfaites, mais offrent une “précision exploitable” (60 %)
- Les précisions supérieures à 90 % revendiquées par d’autres outils d’étude de marché par IA reposent sur des données d’enquête, et diffèrent donc fortement d’une vraie prédiction de viralité
Stratégies d’application concrètes
- À utiliser non pas comme outil de prédiction, mais comme outil d’expérimentation répétée et d’exploration de directions
- Exemple : tester 10 titres pour éliminer les candidats les moins prometteurs
- Valider par simulations répétées
- Exemple : un contenu qui obtient une bonne évaluation au moins 6 fois sur 8 mérite d’être testé
- Se concentrer sur le classement relatif plutôt que sur les valeurs absolues
- L’IA distingue bien les écarts marqués, mais peine à prévoir les différences entre contenus très proches
Tester soi-même : prompt pour répliquer un utilisateur HN
- En copiant le texte de la page de commentaires d’un utilisateur Hacker News puis en le donnant à ChatGPT ou Claude avec le prompt ci-dessous, il est possible de générer un persona virtuel.
You are a helpful assistant that creates detailed personas representing a specific HackerNews user from a list of HackerNews comments they have made. Create a unique persona who would give identical answers to the user we are replicating based on their comments. Give them a relevant background and experience based on your best inference from their HackerNews comments...
- On peut ensuite tester plusieurs idées de contenu avec ce persona généré
- Cette méthode n’offre pas une prédiction statistiquement calibrée, mais peut servir d’outil pertinent pour explorer des orientations sans coût
Conclusion
- L’IA modélise assez bien la réaction d’utilisateurs individuels, mais le succès viral reste soumis au “chaos” de la diffusion sociale
- En pratique, pour la prédiction de contenu, l’IA ne peut être qu’un guide d’orientation, pas un oracle
- Malgré cela, cette expérience montre qu’il devient possible, même pour une petite équipe ou une personne seule, de mener des études de marché à faible coût avec l’IA
Aucun commentaire pour le moment.