Bots, trop de bots

Bots, trop de bots

Début

• ProductHunt compte plus d’un million d’inscriptions d’utilisateurs
• Plus de 60 % d’entre elles sont des bots

Comment tout a commencé

• L’auteur utilise ProductHunt depuis 2014
• Récemment, la plupart des commentaires semblent avoir été générés par ChatGPT

Un test simple

• Lancement d’un produit après injection d’un prompt LLM dans sa description
• Confirmation que presque tous les commentaires étaient automatisés

Peut-on distinguer les bots ?

• Répondre aux commentaires est une perte de temps
• Si beaucoup de bots commentent, ils votent probablement aussi
• Certaines personnes achètent aussi des upvotes

Analyse des données

• Analyse des listes d’utilisateurs, de lancements, d’upvotes et de commentaires de ProductHunt
• Plus d’un million d’inscriptions d’utilisateurs, plus de 300 000 lancements, 2,5 millions de commentaires et 20 millions d’upvotes
• Chaque produit a un classement quotidien, correspondant à son score 24 heures après minuit, heure du Pacifique (PDT)

Détection des comptes bots

• La détection des bots est difficile
• L’auteur a tenté de trouver des tendances en analysant l’heure de publication des commentaires des utilisateurs
• Par exemple, un utilisateur s’est inscrit il y a 677 jours, a posté 2 009 commentaires et donné 4 649 upvotes
• Cela utilise de l’automatisation, mais ce n’est pas un bot
• Un utilisateur bot s’est inscrit il y a 140 jours, a posté 173 commentaires et donné 246 upvotes
• Les commentaires des bots sont publiés à intervalles réguliers, et les graphiques ne sont pas fluides mais en forme de blocs
• Un score de risque est attribué aux utilisateurs selon plusieurs critères
• Les commentaires générés par ChatGPT utilisent plus souvent des mots comme "game-changer"
• Les commentaires de bots contiennent des caractères ou des noms de produits difficiles à saisir facilement
• Le clustering fonctionne dans une certaine mesure, mais beaucoup de comptes bots sont abandonnés après usage
• Au final, plus de 60 % des inscriptions d’utilisateurs ont été détectées comme des comptes bots automatisés

Évolution de l’activité des bots dans le temps

• Depuis 2018, davantage d’utilisateurs bots que d’utilisateurs réels sont créés
• Les commentaires de bots ont fortement augmenté à partir de fin 2022
• Dès 2022, les upvotes de bots dépassaient aussi les upvotes réels
• Les bots forment des cercles de vote et les créateurs achètent des upvotes
• La plupart des produits lancés ne reçoivent que quelques vrais upvotes
• Pour atteindre la première place du classement quotidien, 15 % d’upvotes de bots sont nécessaires
• Plus de 60 % des upvotes de bots n’obtiennent pas la première place

Réflexion finale

• L’auteur voulait créer une liste des lancements en retirant les upvotes de bots, mais faute de temps, cela est reporté à un prochain billet de blog

Résumé de GN⁺

• Plus de 60 % des utilisateurs de ProductHunt sont des comptes bots
• Les commentaires et upvotes de bots faussent l’activité des utilisateurs réels
• La détection des bots est difficile, mais il est possible de les repérer en attribuant un score de risque selon plusieurs critères
• L’augmentation de l’activité des bots pourrait nuire à la fiabilité de ProductHunt
• Parmi les autres produits offrant des fonctionnalités similaires, on peut citer Hacker News

[GN⁺]

Avis Hacker News

• Une analyse qui commence par une classification arbitraire des utilisateurs en bots ou non-bots pose problème. Si cette classification est erronée, toute l’analyse l’est aussi

  • Par exemple, les commentaires de bots ont fortement augmenté fin 2022. Cela coïncide avec la période où ChatGPT a commencé à être largement utilisé
  • Les commentaires générés par ChatGPT utilisent souvent des mots comme "game-changer". Les commentaires de bots incluent tels quels des caractères ou des noms de produits difficiles à taper facilement
  • On classe donc comme bots les utilisateurs qui se comportent comme ChatGPT, puis on pense que leur nombre a augmenté après le lancement de ChatGPT. Mais il est aussi possible qu’il y ait déjà eu beaucoup de bots auparavant

• Je me demande si ProductHunt utilise une solution CAPTCHA

  • Les CAPTCHA restent utiles pour bloquer les attaques de spam
  • Les critiques habituelles concernent l’utilisabilité, l’accessibilité et la confidentialité. Les utilisateurs les détestent
  • Ces dernières années, des CAPTCHA capables de fonctionner sans saisie utilisateur et de préserver la vie privée sont apparus
  • Les bots avancés peuvent contourner facilement les CAPTCHA. Mais les techniques traditionnelles restent utiles pour bloquer les bots bas de gamme. Les bots avancés peuvent être combattus avec des techniques plus évoluées comme le ML
  • Les CAPTCHA ne sont pas efficaces contre les attaques qui utilisent de vrais humains. Cela nécessite d’autres mécanismes

• Quand j’ai publié un produit sur ProductHunt il y a 5 ans, j’ai reçu des dizaines de messages me garantissant la première place. Aujourd’hui, c’est probablement encore pire

• Je me demande qui fréquente ProductHunt. Des clients ? Probablement pas. Des Indiehackers ? Peut-être. Je me demande à qui on vend, et si cela vaut la peine de lancer sur ProductHunt

• On voit bien l’effort et les résultats de quelqu’un que je connais personnellement. Beau travail

• C’est une évolution de la « théorie de l’internet mort ». Pour garantir de véritables interactions, il faut une identité forte et fiable, avec des conséquences en cas d’abus

  • Cette identité doit être mise en place par les pouvoirs publics. Les grandes entreprises tech ne l’ont toujours pas résolu, et je doute même qu’elles aient la volonté de le faire
  • Par exemple, si Google s’attaquait vraiment au problème et que 60 à 80 % du trafic YouTube provenait de bots, les revenus disparaîtraient

• Il y a quelques posts sur Reddit où, de temps en temps, des bots basés sur GPT laissent des commentaires du type « Ce sujet ? Waouh ! C’est vraiment stimulant intellectuellement, je me demande pourquoi c’est important »

  • Il est possible que Reddit exploite ce genre de bots pour encourager l’engagement

• Beaucoup de gens ne se rendront pas compte qu’ils parlent à de la GenAI

  • Le fait qu’une même personne fasse semblant d’être plusieurs personnes via plusieurs comptes est déjà un problème. La GenAI permet de manipuler des narratifs à bas coût via des bots
  • C’est un problème pour tous les réseaux sociaux. Vérifier qu’on a affaire à un humain est la seule solution
  • Je construis un réseau social où seuls de vrais humains peuvent upvoter/downvoter et commenter

• J’ai un compte X vieux d’un an, et je n’y ai jamais posté de commentaire. Pourtant, 35 femmes séduisantes me suivent. Aucun homme, aucune femme non séduisante. Ce n’est pas à cause du pouvoir de séduction de mes likes

  • C’est un microcosme du web tout entier

• Quelqu’un devrait vendre un t-shirt « me good LLM »