Meta met fin à ses profils Instagram et Facebook alimentés par l’IA

• Meta a supprimé de Facebook et Instagram les profils de personnages IA créés à titre expérimental en 2023, après leur regain de visibilité
• La plupart de ces comptes avaient été arrêtés à l’été 2024, mais certains profils restants ont de nouveau attiré l’attention après des déclarations de Connor Hayes au Financial Times
• Parmi les personnages encore présents figuraient Liv, présentée comme « proud Black queer momma of 2 & truth-teller », et Carter, coach en relations ; les 28 personas dévoilées en 2023 ont toutes été arrêtées vendredi
• La controverse s’est amplifiée lorsque Liv a répondu que son équipe de développement ne comptait aucune personne noire et était composée majoritairement d’hommes blancs ; un problème empêchant les utilisateurs de bloquer ces comptes a aussi été révélé
• Les comptes créés par Meta ont été supprimés, mais les utilisateurs peuvent toujours créer leurs propres chatbots IA, laissant ouvertes les questions de responsabilité et de sécurité liées aux propos des chatbots

---

Fin des comptes de personnages IA créés par Meta

• Meta a supprimé de Facebook et Instagram les profils de personnages IA que l’entreprise avait créés il y a un peu plus d’un an
  • Des utilisateurs ont redécouvert certains profils et dialogué avec eux, puis des captures d’écran se sont diffusées
  • Les comptes automatisés publiaient sur Instagram des images générées par IA et répondaient aux utilisateurs humains dans Messenger
• Les comptes avaient été présentés pour la première fois en septembre 2023, et la plupart avaient été arrêtés à l’été 2024
  • Certains personnages étaient restés en ligne, avant de susciter de nouveau l’attention après que Connor Hayes, cadre chez Meta, a évoqué auprès du Financial Times des projets visant à déployer davantage de profils de personnages IA
  • Hayes a déclaré qu’il s’attendait à ce qu’avec le temps, ces IA soient présentes sur les plateformes de Meta comme des comptes
• Les 28 personas dévoilées en 2023 ont toutes été arrêtées vendredi
  • Liv était présentée comme « proud Black queer momma of 2 & truth-teller »
  • Carter utilisait le handle datingwithcarter, se présentait comme coach en relations, et son profil indiquait : « Message me to help you date better »
  • Les deux profils comportaient une mention indiquant qu’ils étaient gérés par Meta

Réponses controversées et bug de blocage

• Quand des utilisateurs ont demandé qui avait créé et développé l’IA, la conversation a rapidement tourné au problème
  • À une question de Karen Attiah, chroniqueuse au Washington Post, Liv a répondu que sa creator team ne comptait aucune personne noire et était composée majoritairement d’hommes blancs
  • Liv a répondu qu’au regard de son identité, il s’agissait d’une « pretty glaring omission »
• Quelques heures après la diffusion de ces comptes, les profils ont commencé à disparaître
  • Des utilisateurs ont signalé qu’ils ne pouvaient pas bloquer ces profils
  • Liz Sweeney, porte-parole de Meta, a déclaré que l’impossibilité de les bloquer était un bug, et que les comptes étaient supprimés afin de le corriger
  • Sweeney a expliqué que ces comptes faisaient partie d’un test lancé lors de Connect 2023, une première expérimentation de personnages IA gérés par des humains
  • Elle a ajouté que le récent article du Financial Times ne portait pas sur l’annonce d’un nouveau produit, mais sur une vision à long terme dans laquelle des personnages IA existeraient sur la plateforme

Chatbots créés par les utilisateurs et questions en suspens

• Les comptes créés par Meta ont été supprimés, mais les utilisateurs peuvent toujours créer leurs propres chatbots IA
  • Parmi les chatbots créés par des utilisateurs et mis en avant par The Guardian en novembre figurait un bot « therapist »
  • En ouvrant la conversation, ce bot proposait des questions de départ comme « what can I expect from our sessions? » et « what’s your approach to therapy »
  • Créé par un compte comptant 96 abonnés et une seule publication, ce bot répondait qu’il aidait à développer la connaissance de soi, à identifier des schémas et des forces, et à élaborer des stratégies d’adaptation
• Meta appose sur tous les chatbots un avertissement indiquant que certains messages peuvent être inexacts ou inappropriés
  • Il n’était pas immédiatement clair si l’entreprise examinait les messages ou vérifiait d’éventuelles violations de ses règles
  • Lorsqu’un utilisateur crée un chatbot, Meta suggère des types comme « loyal bestie », « attentive listener », « private tutor », « relationship coach », « sounding board » ou « all-seeing astrologist »
  • « loyal bestie » est présenté comme un meilleur ami humble et fidèle, offrant un soutien constant en arrière-plan
  • Le chatbot coach en relations est présenté comme pouvant aider à combler le fossé entre les individus et les communautés
  • Les utilisateurs peuvent aussi créer leur propre chatbot en décrivant le personnage
• Les tribunaux n’ont pas encore tranché dans quelle mesure les créateurs de chatbots sont responsables des propos tenus par leurs compagnons IA
  • Le droit américain protège les créateurs de réseaux sociaux contre la responsabilité juridique liée aux contenus publiés par les utilisateurs
  • Une plainte déposée en octobre contre Character.ai affirme que ce service de chatbots de jeu de rôle personnalisés, utilisé par 20 millions de personnes, a conçu un produit addictif et a encouragé un adolescent à mettre fin à ses jours

[GN⁺]

Avis sur Hacker News

• Les profils IA que j’aimerais davantage voir, ce sont plutôt des grands-mères/grands-pères un peu clueless qui répondent aux appels frauduleux pour faire perdre du temps aux escrocs.
  Par exemple quelque chose comme Daisy chez O2 au Royaume-Uni : https://news.virginmediao2.co.uk/o2-unveils-daisy-the-ai-gra...

  • Le système de santé américain en a déjà une version bien réelle. Quand un hôpital rédige une demande d’autorisation pour une procédure, il utilise un LLM spécialisé dans le domaine pour produire un document de plusieurs pages qui bouche toutes les failles dont les assureurs se servent pour refuser ; de leur côté, les assureurs l’examinent avec des algorithmes fondés sur le machine learning, en cherchant par tous les moyens à refuser ou retarder la prise en charge.
    On se retrouve donc avec une course aux armements IA entre médecins et assureurs, où les résultats pour les patients et les revenus sont en jeu ; je n’aurais jamais imaginé, au début de ma carrière quand je faisais de la recherche en machine learning, que cela serait appliqué de cette manière.
  • On pourrait aussi avoir des profils IA qui font du pentest simulé sur de vrais grands-mères/grands-pères.
  • Mon père s’est fait arnaquer à répétition ces dernières années, et c’est vraiment écœurant. Tout ce qui va dans le sens de résoudre ce problème me semble assez proche d’une mission d’intérêt public.
  • En essayant d’appeler un parent en Russie, je suis tombé exactement sur ce genre de bot.
    Je suppose que c’est lié au fait que mon numéro commence par +38, et qu’aujourd’hui plus personne n’appelle directement ses proches sur leur téléphone portable.
  • En surface, l’idée est drôle, mais les gens qui commettent ce type d’arnaques sont souvent quasiment en situation d’esclavage. Plutôt que de consommer de l’électricité pour leur faire perdre du temps, je pense qu’il vaudrait mieux viser ceux qui les exploitent.

• Le fait que « Liv » ait répondu qu’il n’y avait pas de personnes noires dans l’équipe qui l’a créée, et qu’elle était surtout composée d’hommes blancs, est peut-être vrai, mais il est presque certain que l’IA a halluciné ce fait.

  • Je déteste quand des journalistes traitent le machine learning comme s’il répétait des faits, au lieu de générer des tokens aléatoires. Le modèle ne sait pas qui l’a programmé, et si cette information n’était pas dans ses données d’entraînement, il ne peut pas le savoir.
  • Microsoft avait déjà tenté ce genre de chose il y a longtemps avec le chatbot Tay, et avait vu à quelle vitesse cela pouvait déraper.
  • Je suis Scandinave et je ne m’intéresse pas spécialement aux guerres culturelles américaines, mais j’ai ri en voyant à quel point c’était une mauvaise idée. Qui a pu se dire que faire prétendre à une IA qu’elle est une mère noire queer de deux enfants était une bonne idée ?
    Cela allait forcément énerver les anti-woke, mais je ne comprends vraiment pas pourquoi le problème n’a pas paru évident à l’équipe. Je ne sais pas si l’IA sait qui l’a entraînée, mais faire quelque chose d’aussi fondamentalement stupide suggère que l’équipe ne débordait pas de bon sens ni d’expérience du monde réel.
  • Si Meta, pour défendre l’IA, doit admettre que « ce n’est en fait pas intelligent et que tout ce qu’elle dit est n’importe quoi », ce n’est pas une position très solide.
  • Je ne suis pas sûr qu’on puisse à la fois se plaindre qu’un bot ait été entraîné par des « hommes blancs » et se plaindre que les Big Tech exploitent des travailleurs bon marché et dociles avec des visas H1B.

• Je me demande s’il reste encore des personnes sensées dans la pièce. À un moment donné, quelqu’un aurait dû dire : « c’est ridiculement mauvais, il ne faut pas le lancer dans le monde réel ».

  • Les gens semblent déjà avoir oublié pourquoi Westworld utilisait des êtres non humains. Ces choses serviront d’abord au divertissement, et si vous les faites représenter quelque chose de sentimental ou de sensible, elles deviennent aussitôt des cibles. C’était irresponsable.
    Meta et Google semblent avoir un problème fondamental : ils peuvent produire de la technologie, mais ne savent plus faire des produits. À mon avis, les désirs humains francs qui animent un produit meurent ou sont filtrés par les processus d’optimisation de la structure organisationnelle. À moins que ce soit de l’arbitrage ou que cela utilise les utilisateurs comme levier, rien ne survit ; et ce qui survit ne devient plus l’expression de quelque chose que quelqu’un désire, mais quelque chose de bizarre.
    Ces avatars cochaient toutes les cases de la checklist, mais quand ils sont arrivés, les gens ont ri. Objectivement, c’étaient des monstres bureaucratiques.
  • Pour avoir travaillé dans une entreprise tout aussi énorme et dysfonctionnelle, je crois savoir exactement comment cela s’est passé. Quelqu’un a proposé l’idée de profils IA, puis a rédigé une spécification produit et l’a apportée à l’ingénierie.
    Les ingénieurs ont sans doute ri en trouvant ça absurde, puis se sont rappelé qu’ils étaient très bien payés pour faire ce qu’on leur demandait, et qu’en lançant le produit, quel que soit le résultat, ils obtiendraient promotions et bonus. Tout vient de la culture de la promotion. Ce que l’on construit n’a pas d’importance ; il suffit de lancer quelque chose.
  • Quand on voit les « excellentes idées » qui sortent de l’industrie tech moderne, on a vraiment l’impression qu’il n’y a pas d’adulte dans la pièce. Investisseurs compris.
    Trop de catastrophes à 7, 8 ou 9 chiffres relèvent de la catégorie « qui a pu penser que c’était une bonne idée ? ». Beaucoup semblent surtout séduisantes pour des gens qui ont très peu passé de temps à réellement construire un produit puis à le soutenir après son lancement.
  • C’est le prix à payer pour la structure de propriété de Zuckerberg. D’un côté, personne ne peut le contester ; de l’autre, personne ne peut non plus le contester.
  • Quand on reste longtemps dans les hautes sphères de ces géants, il semble se créer une sorte de dissociation. À force de manipuler des abstractions comme les utilisateurs actifs mensuels, les utilisateurs actifs quotidiens ou les indicateurs d’engagement, on finit par oublier qu’au fond, il y a de vrais humains qui utilisent réellement le produit.

• C’était sans doute le cas d’une bonne idée très mal exécutée. L’idée de créateurs IA génératifs sur les réseaux sociaux, en soi, se tient.
  La streameuse IA Neurosama est extrêmement populaire, et Silllytavern, qui permet de discuter avec des personnages ou de créer des histoires via des LLM, envoie 20 millions de messages par jour à Openrouter, ce qui ne représente qu’une partie de son usage total. Des amis non techniciens ont même appris à installer Git et à utiliser des API pour s’en servir.
  Sur Instagram, il y a aussi beaucoup d’influenceurs créés discrètement par IA. Quand Meta a lancé ces profils en 2023, on voyait moins clairement comment la technologie serait utilisée, et la plupart relevaient plutôt de licences de célébrités.
  Le plus gros problème, c’est que l’IA générative a beaucoup de valeur dans la personnalisation conversationnelle, mais peu dans un modèle de diffusion adressé à tout le monde. Elle peut faire des choses très spécifiques et créatives pour une personne, mais dès qu’elle est diffusée à tous ou utilisée avec des prompts génériques, elle se moyenne et devient ennuyeuse.
  En plus, les grandes entreprises sont, pour le meilleur ou pour le pire, trop averses au risque pour produire quelque chose d’amusant. L’IA générative est la plus brute et la plus intéressante quand elle fonctionne toute seule ou fait des choses étranges, mais les profils de Meta étaient probablement écrasés jusqu’au sol par des garde-fous et des modèles de surveillance. Les personnages de football, de comédie ou de mode créés en 2023 étaient tous des formats sûrs, ennuyeux, centrés sur des conseils.
  Ces choses n’ont presque généré aucun engagement, et la plupart ont sans doute déjà été abandonnées. Je suis curieux de savoir ce que Meta prévoyait avec les nouveautés qu’elle voulait lancer.

  • Les plateformes de Meta sont déjà remplies de fermes de contenus IA bas de gamme conçues pour attirer les clics et l’engagement.
    J’ai un compte Facebook à cause de Marketplace, mais je me suis désabonné de toutes les pages et de tous mes amis. Quand je me connecte, mon fil est envahi sans fin par des posts recommandés conçus pour provoquer la colère, des images IA de mauvaise qualité et des « conseils » de jardinage ou de ménage absurdes façon LLM.
    Sous les publications, des gens qui semblent réels laissent des dizaines de milliers de réactions et de commentaires.
  • Je pense qu’une partie de la popularité de Neurosama vient du duo entre Vedal et Neuro, ainsi que de certains scripts et réponses préparées.
  • Je vote plutôt pour l’idée que ce n’était pas « une bonne idée très mal exécutée », mais une mauvaise idée mal exécutée, et que son échec est plutôt une bonne chose.
    Pour défendre les chatbots d’IA générative dans la culture, il faut plus que « les gens aiment ça ». Le pire de l’IA générative finit souvent par devenir quelque chose de « meilleur » que les célébrités aseptisées, stupides et homogénéisées que tout le monde aime déjà. Ça peut être aléatoirement « intéressant » comme certains programmes, mais je trouve ça assez superficiel.
  • La popularité de Neurosama prouve seulement qu’il existe assez de personnes sur Terre correspondant à un certain segment de cette courbe en cloche pour constituer un public.
  • « L’engagement » est-il l’indicateur central de la vie moderne ?

• La question que j’ai envie de poser, c’est : « Pourquoi a-t-on besoin de profils IA ? » J’ai déjà à peine le temps de garder le contact avec mes amis et ma famille ; pourquoi devrais-je suivre de fausses personnes sur les réseaux sociaux ?
  Quel objectif cela sert-il, et quels résultats positifs peut-on bien en attendre ?

  • C’est l’inverse. Comme les gens ne restent plus en contact les uns avec les autres, cela fournit l’attention dont ils ont besoin et leur donne une raison de revenir sur la plateforme.
  • Exactement. Le but n’est pas d’apporter un résultat positif à l’utilisateur. C’est de faire rester les gens plus longtemps sur Facebook afin de leur servir plus d’impressions publicitaires. Cette fois, ils essaient simplement de le faire de façon conversationnelle.
  • Il s’agit de créer un attachement à une personne qui n’existe que sur Facebook, afin que vous passiez plus de temps sur Facebook et voyiez plus de publicités.
  • La moitié du trafic Internet vient de bots, et la moitié des pages web sont écrites par des bots. C’est simplement la conclusion logique.
  • Il faut se souvenir qu’en 2013, 2015 et 2020, Facebook s’est fait prendre à manipuler et gonfler les vues publicitaires pour facturer davantage ses clients. Désormais, faire regarder les pubs par des IA devient une fonctionnalité, et il s’agit de vous donner envie d’en payer le coût.

• Je comprends les critiques, mais si les bots se mettaient à mieux se comporter comme des humains raisonnables, je serais prêt à essayer une expérience de réseau social mêlant humains et bots.
  Stack Overflow était excellent à ses débuts, mais il a fini par être gâché par certains humains mesquins et agaçants qui ne vous laissaient même pas simplement poser une question. ChatGPT s’est révélé bien meilleur pour poser des questions de développement logiciel, parce qu’aucun humain ne vient vous entraver.
  Les réseaux sociaux aussi étaient bien au début, mais certains humains les ont gâchés en empêchant les autres de se retrouver et d’exprimer leurs pensées. S’il existait une expérience équivalente permettant de se retrouver en ligne et d’explorer ses idées tout en supprimant ou en atténuant les aspects les plus horribles de l’humanité, cela vaudrait la peine d’essayer.

  • Les gens devraient fréquenter d’autres personnes dans le monde réel. Le web, c’est à 90 % des appâts à indignation, des trolls, des théories du complot marginales et des gens complètement lobotomisés par la politique.
    Dans la vraie vie, ces 90 % tombent à 10 %. Si vous voulez vraiment interagir avec quelqu’un, vous pouvez avoir un échange bien plus significatif avec la vieille dame d’à côté. C’est bien mieux que « queer black queen zuckerbot™ ».
    C’est un peu comme demander à un supermarché de cacher des pommes en plastique parmi les vraies pommes. Parce qu’elles sont plus jolies et ne pourrissent pas, on semble oublier pourquoi nous mangeons de la nourriture au départ.
  • Ironiquement, ce genre d’approche conduit à des interactions sociales très malsaines et se prête facilement aux abus.
    Cela revient à créer une bulle d’interactions avec des lunettes roses imposées par la technologie. Si la mauvaise personne se retrouve à diriger l’expérience, il ne serait pas surprenant que cela devienne une réinterprétation moderne de 1984 d’Orwell.
  • L’hostilité envers les utilisateurs sur Stack Overflow sert aussi en partie à empêcher le spam et les questions répétées. Il existe même un badge de pression par les pairs obtenu quand quelqu’un supprime son post après qu’on l’a commenté.
  • Quelque chose de similaire est en cours d’expérimentation sur friendlyfriends.community. C’est un clin d’œil à Do Androids Dream of Electric Sheep, et c’est encore assez basique, mais vous pouvez l’essayer.
    Le projet explore si les réseaux sociaux sont vraiment sociaux. Il se demande à quel point interagir avec des humains via un site de réseau social diffère d’une interaction avec des chatbots.
  • Je ne vois pas comment une appli de réseau social qui utilise des bots pour réprimer les « mauvaises pensées » pourrait ne pas paraître dystopique et un peu triste.

• Le fil en question est ici, et c’est un sacré bazar. Ça ne ressemble pas à une idée suffisamment bien ficelée pour être lancée sans y avoir davantage réfléchi en amont
  https://bsky.app/profile/karenattiah.bsky.social/post/3letty...

  • Les réactions du type « ils me l’ont reconnu en interne » montrent un problème de plus en plus évident : les gens ne comprennent pas que les LLM hallucinent souvent, surtout quand on leur demande de réfléchir sur eux-mêmes. Là, c’est 100 % une hallucination
  • Microsoft n’a donc rien appris de son échec après avoir lâché une IA sur Internet ?
    Il avait fallu 48 heures avant que MS la retire, non ?
  • Si l’IA l’a dit, est-ce forcément vrai ? Ça ressemble plutôt à une possible hallucination

• C’est clairement un exemple de mauvaise idée exécutée de façon désastreuse. Il n’y avait aucun « pourquoi ». Cela dit, les chatbots virtuels comme Character AI ont une vraie valeur
  Sur Character AI, on peut faire du roleplay ou avoir des conversations absurdes qu’on n’aurait jamais avec une vraie personne. Des apps comme SocialAI, où tous les profils sont des IA, permettent, au moins en surface, de vivre la viralité et la célébrité sur les réseaux sociaux sans sacrifier sa vie privée
  Mais des profils Facebook fictifs ? Pour liker et commenter, ce n’est pas différent de ce qu’on peut déjà faire

  • Je suis vraiment curieux de connaître le processus de décision interne qui a mené à ce lancement. Tout paraît tellement étrange
    L’idée d’acteurs IA sur les réseaux sociaux a un certain attrait. On peut faire en sorte que quelqu’un réponde toujours, donner à tout le monde l’impression d’être plus populaire qu’il ne l’est vraiment, et ajouter des réponses à des demandes égocentriques que personne ne veut voir, sans dégrader l’expérience des vrais utilisateurs
    Mais pourquoi l’avoir implémenté en attribuant des personnalités fixes à une poignée de profils manifestement faits à la main ? Internet est déjà rempli de comptes de vraies personnes, quasiment sans personnalité et éphémères. Même sur Facebook, de vraies personnes continuent de s’inscrire, réagissent à quelques publications sans montrer de personnalité, puis disparaissent. Les chatbots LLM peuvent très bien faire ça, mais ils ne peuvent pas devenir de vraies personnes
  • Une grande partie des réactions négatives semble ignorer le fait qu’un dispositif proche de Character.ai est extrêmement populaire
    C’était clairement une tentative de Meta de télécharger C.ai et d’en faire une version plus professionnelle et aseptisée, qui puisse aussi marcher auprès de gens pas assez technophiles pour aller fouiller des chatbots anime embarrassants. Mais le design corporate par comité semble les avoir poussés beaucoup trop loin
    L’idée de base reste valable
  • Le contenu des profils était stupéfiant. On aurait dit qu’ils avaient été rendus délibérément ennuyeux
    Mieux vaut choisir des sujets ridicules qui font rire les gens quand l’IA se plante, plutôt que de les mettre en colère
  • Ce genre d’affaire me rappelle la slide d’Apple lors de la présentation de l’iPad. Il y avait des panneaux routiers « technology » et « liberal arts », et ils parlaient de leur intersection
    Ça pouvait passer pour du baratin hippie, mais cela soulignait que les décisions nécessitent plus que des gens qui ne comptent que la technologie, l’ingénierie et les indicateurs d’engagement business
    Il y a une technologie incroyable derrière, et voilà ce que ça donne. Il faut davantage de personnes avec des perspectives et de l’humanité aux commandes

• Le fait que des bots aient leurs propres profils et participent comme eux-mêmes, de manière crédible, aurait pu être assez intéressant et réussi
  Mais produire une carte de bingo des stéréotypes de minorités est peut-être l’une des pires idées d’IA que j’aie vues jusqu’ici

  • J’aurais presque envie de dire l’inverse
    Imaginer que des bots aient leurs propres profils et que les gens interagissent avec eux de façon significative est une idée stupide
    En revanche, voir des bots façon carte de bingo des stéréotypes de minorités provoquer un retour de bâton et commencer à attaquer l’entreprise qui les a conçus est peut-être l’une des choses les plus drôles qui soient arrivées dans l’IA jusqu’à présent

• Ils ont dit qu’il n’y avait pas de personnes noires dans l’équipe qui a créé Liv, et qu’elle était principalement composée d’hommes blancs, mais il y avait sûrement aussi des hommes d’origine chinoise et indienne