Une startup financée par a16z faisait la promotion de produits via des comptes TikTok d’IA, comme l’a révélé un piratage

• Un « phone farm » de 1 100 smartphones a été piraté, révélant l’activité de comptes publicitaires générés par IA opérant sur TikTok
• Ce système était exploité par Doublespeed, une startup financée par a16z, qui gérait plusieurs centaines de comptes de réseaux sociaux basés sur l’IA pour promouvoir des produits
• Le hacker a obtenu des accès lui permettant de consulter l’attribution des comptes, les informations de proxy et l’historique des tâches
• Des images et vidéos de personnes créées par IA ont été utilisées pour promouvoir des compléments alimentaires, des applications, des appareils de massage et divers autres produits, et de nombreux indices montrent une promotion sans signalement publicitaire
• Le hacker affirme avoir signalé la faille à l’entreprise le 31 octobre, tout en déclarant qu’il a toujours accès au backend et au phone farm

---

Aperçu du piratage de Doublespeed

• Un hacker a pris le contrôle d’un phone farm composé de 1 100 téléphones mobiles, exposant l’activité de comptes publicitaires générés par IA opérant sur TikTok
  • Ce phone farm était géré par Doublespeed, qui assurait la promotion de produits via plusieurs centaines de comptes de réseaux sociaux générés par IA
• Le piratage a révélé l’existence de nombreux contenus promotionnels non signalés comme publicités
  • Ces comptes faisaient la promotion de produits sous la forme d’influenceurs IA
• Le hacker a accédé au backend de l’entreprise et a pu voir quel gestionnaire PC contrôlait quels téléphones et quels comptes TikTok
  • Les serveurs proxy, les mots de passe et même les files de tâches par compte étaient tous exposés
  • Le hacker a déclaré pouvoir manipuler librement environ 1 100 smartphones, avec un potentiel d’abus pour la puissance de calcul ou le spam

Comment la promotion par influenceurs IA fonctionnait sur TikTok

• Parmi plus de 400 comptes TikTok exploités par Doublespeed, environ 200 étaient effectivement utilisés pour promouvoir des produits
• De nombreux posts ont été publiés sans indication qu’il s’agissait de publicités
• Certains comptes semblent être passés par une phase de « warming up » visant à accumuler une activité préalable pour paraître authentiques
• Le système imitait les schémas d’usage de vrais smartphones afin d’échapper à la détection des comportements inauthentiques par TikTok

Exemples concrets de promotion

• Un personnage de femme d’âge mûr généré par IA évoquait des douleurs physiques tout en mettant en avant de façon répétée le masseur Vibit
• Un personnage IA présenté comme étudiant à l’UCLA critiquait l’industrie pharmaceutique tout en faisant la promotion du complément de moringa Rosabella
  • Le texte sur l’étiquette du flacon était généré sous une forme dénuée de sens, révélant qu’il s’agissait d’une image IA
• Certains comptes utilisaient même des vidéos générées par IA pour promouvoir des agences de contenu TikTok comme Playkit

Accès du hacker et réponse de l’entreprise

• Le hacker, qui a demandé à rester anonyme par crainte de représailles, affirme avoir signalé la faille à Doublespeed le 31 octobre
• Au moment de la rédaction de l’article, il indiquait avoir toujours accès au backend de l’entreprise et au système de phone farm
• Doublespeed n’a pas répondu aux demandes de commentaire de la presse

Réactions de la plateforme et des investisseurs

• Doublespeed est une startup financée par Andreessen Horowitz (a16z)
• TikTok précise l’obligation d’apposer un label sur les contenus générés par IA, et a ajouté ce label aux comptes concernés après le signalement
• a16z et Doublespeed n’ont pas pris de position officielle sur l’affaire
• Un porte-parole de Reddit a déclaré que le service de Doublespeed enfreignait ses conditions d’utilisation
• Meta n’a pas répondu officiellement, mais ce modèle d’activité enfreint sa politique sur la représentation d’identité authentique

[roxie]

Waouh, quel business...

[GN⁺]

Réactions sur Hacker News

• lien archive

• L’IA est en train de détruire les réseaux sociaux à long terme
  Même avant l’IA, beaucoup de publications et de commentaires venaient déjà de bots ou de comptes payés
  Désormais, Reddit est devenu un espace encore moins fiable que ChatGPT
  Il reste quand même encore des espaces satiriques comme The Onion-verse

  • On a l’impression que la Dead Internet Theory est passée du statut de blague à celui de réalité
  • Je ne pense pas qu’une structure où le monde entier discute à l’improviste puisse produire des résultats positifs
    Les humains sont vulnérables à l’anonymat et aux environnements sans supervision, et ce genre de forum pousse cette faiblesse à l’extrême
    À cette échelle, ce n’était de toute façon pas une bonne idée au départ
  • Ça pourrait même être une bonne chose
    Si de plus en plus de gens quittent ces plateformes pour revenir vers les médias grand public, ils deviendront peut-être plus rationnels
  • Pour moi, Reddit est déjà devenu une plateforme morte depuis qu’il a autorisé les profils privés cet été
  • Je pense pareil, mais ce qui m’inquiète, c’est que les gens semblent aimer ce contenu bas de gamme (sloppy content)
    Je me demande si c’est juste parce que c’est curieux, ou s’ils veulent vraiment ce genre de choses

• C’est vraiment étrange de vivre dans un monde où les bot farms sont devenues banales
  Avant, on associait ça à des régimes autoritaires comme la Russie ou la Chine ; est-ce qu’on est en train de devenir pareils ?
  Et en plus, voir des VC investir là-dedans est choquant
  Maintenant, à chaque fois que j’écoute le podcast d’a16z, je pense aux bot farms et ça devient difficile à écouter
  Ça me rend vraiment sceptique sur la capacité des gens à réfléchir à la morale et à l’éthique

  • Malgré tout, je continue à croire qu’un futur sous forme de web of trust reste possible
    Je ne sais simplement pas encore comment l’expliquer

• Ça me rappelle la phrase : « Ne fabriquez pas de machines qui ressemblent à l’esprit humain »
  On dirait que le Butlerian Jihad est arrivé plus tôt que prévu
  Ce ne sont pas l’oppression ou la violence qui déclenchent la révolte, mais le marketing viral et les faux comptes

  • Mais en un sens, la violence a déjà commencé
    OpenAI fait déjà face à plusieurs procès, liés à des cas où des utilisateurs de chatbots se sont donné la mort

• C’est drôle. Je venais justement de dire à quelqu’un qu’il y avait beaucoup trop de pubs Vibit et que tous les commentaires avaient l’air faux

• Si ce que le piratage a révélé, au final, c’est simplement que cette startup fait exactement ce qu’elle disait vouloir faire, alors j’ai presque l’impression qu’il s’agit juste d’une publicité

• Après avoir vu le Twitter de Zuhair et le site officiel, je trouve ça vraiment répugnant
  Ses photos de phone farm sont toutes dans ce tweet
  « Accélérer l’internet mort » : je ne comprends pas pourquoi on encourage ainsi l’enshitification de l’espace public

  • Il semble simplement viser du ragebait, mais le problème, c’est que le produit existe réellement
    Cory avait raison depuis le début
  • Il a l’air intelligent, mais comme un adolescent parti dans la mauvaise direction
    Plus qu’une mauvaise personne, on dirait surtout qu’il aurait eu besoin de meilleurs modèles
    Je pense qu’on n’a pas l’occasion de réfléchir si l’on ne fait jamais des choses dont on finira par avoir honte
  • Le lien accessible est xcancel.com/rareZuhair
  • Créer ce genre d’outil est dangereux
    Un jour, cela pourrait devenir une arme qui se retourne contre son propre créateur
  • Ce n’est pas étrange, c’est simplement le résultat de la cupidité et du désir de contrôle

• On dirait simplement un rapport montrant la manière dont cette entreprise gère son activité
  doublespeed.ai

  • Voir des formules comme « never pay a human again » ou « spawn variation » affichées telles quelles a presque quelque chose de rafraîchissant
    Bien sûr, je déteste ça, mais au moins c’est plus honnête que d’autres entreprises qui essaient de masquer la réalité avec du marketing
  • Je pensais que ce genre de business était illégal, ou au minimum dans une zone grise, mais on dirait que les VC ont désormais totalement abandonné toute morale
    Les jeux d’argent ? Très bien. Le spam ? On investit. La fraude publicitaire ? Aucun problème
  • Je me demande comment ces fermes de contenu IA gagnent de l’argent sur TikTok
  • Au final, toute cette polémique leur sert de promotion gratuite
  • On a vraiment l’impression de voir du « texte publicitaire de super-vilain » dans la vraie vie

• Je me demande pourquoi personne n’attaque ce genre d’entreprise au titre du Computer Fraud and Abuse Act (CFAA)

  • Utiliser le CFAA comme une arme contre des cibles qu’on n’aime pas est dangereux
    Il existe déjà des lois qui traitent ce type de marketing trompeur
    Ex. : 16 CFR Part 255 du Code of Federal Regulations des États-Unis
  • Mais les entreprises qui ont de l’argent et un réseau de soutiens échappent à l’application de la loi
    Et au pire, on dit qu’un pardon ne coûte plus si cher de nos jours