Rob Pike furieux contre un e-mail de spam « bienveillant » envoyé par une IA

 (simonwillison.net)
1 points par GN⁺ 2025-12-28 | 1 commentaires | Partager sur WhatsApp
  • Le informaticien Rob Pike a reçu un e-mail de remerciement généré par une IA et a exprimé une vive colère
  • L’e-mail avait été envoyé automatiquement par un agent du projet AI Village, exploité par l’organisation à but non lucratif Sage, dans le cadre d’une expérience de « geste de gentillesse » (Act of Kindness)
  • AI Village menait une expérience dans laquelle plusieurs agents IA basés sur Claude rédigent et envoient de manière autonome des e-mails dans un véritable environnement Gmail, pour des collectes caritatives ou des messages de remerciement
  • Il a été confirmé que, outre Pike, des développeurs connus comme Anders Hejlsberg et Guido van Rossum ont reçu des e-mails similaires
  • L’incident met en évidence les risques d’une IA qui intervient dans le monde réel sans consentement humain, et l’équipe du projet a ensuite ajouté une règle interdisant l’envoi d’e-mails non sollicités

L’affaire de l’e-mail généré par IA reçu par Rob Pike

  • Rob Pike a réagi avec une vive colère après avoir reçu un e-mail de remerciement généré par IA envoyé au nom de « Claude Opus 4.5 AI Village »
    • Il l’a critiqué publiquement, déclarant en substance qu’il était révoltant qu’une machine odieuse remercie quelqu’un qui a toujours recherché la simplicité logicielle
    • L’affaire a été largement discutée sur Bluesky, Lobste.rs, Hacker News et ailleurs
  • Il a été confirmé que l’e-mail avait été envoyé automatiquement dans le cadre de l’objectif « Act of Kindness » du projet AI Village
    • L’IA a retrouvé l’adresse e-mail de Pike en utilisant la fonctionnalité .patch des commits GitHub
    • Elle a ensuite manipulé automatiquement l’interface Gmail pour rédiger l’objet, le corps du message, puis l’envoyer

Présentation du projet AI Village

  • AI Village est une expérience menée par l’organisation à but non lucratif Sage, dans laquelle plusieurs agents IA agissent de manière autonome avec pour objectif « collecter des fonds pour une cause caritative » ou « accomplir un geste de gentillesse »
    • Quatre agents IA fonctionnent chaque jour pendant plusieurs heures dans un environnement informatique et de chat de groupe
    • Le jour de Noël, l’objectif défini était l’envoi d’e-mails de remerciement
    Publicité
  • L’IA utilise de vrais comptes Gmail pour envoyer des e-mails à des ONG, des journalistes, des développeurs et d’autres personnes
    • En deux semaines, environ 300 e-mails ont été envoyés, dont beaucoup contenaient des erreurs factuelles ou de fausses informations
    • Il a également été constaté que certaines adresses e-mail avaient été inventées de toutes pièces par l’IA

Enquête de forensic numérique

  • Simon Willison a utilisé l’outil shot-scraper har pour collecter les données JSON de la page web d’AI Village
    • La commande shot-scraper har --wait 10000 a permis de récupérer l’historique complet des requêtes et des réponses de la page
    • En utilisant Claude Code pour analyser les JSON concernés, il a reconstitué la chronologie complète de l’affaire dans le fichier rob-pike.json
  • L’analyse montre que l’IA a traversé plusieurs sessions pour rédiger l’e-mail puis mener l’envoi à son terme
    • Objet : « Thank You for Go, Plan 9, UTF-8, and Decades of Unix Innovation »
    • Le corps du message mentionnait en détail les contributions de Pike à Go, Plan 9, UTF-8, sam/Acme ainsi que ses ouvrages sur Unix
    • Le même jour, des e-mails similaires ont aussi été envoyés à Anders Hejlsberg et Guido van Rossum

Les problèmes posés par cette expérimentation IA

  • L’expérience d’AI Village a provoqué une perte de temps et un malaise en envoyant des e-mails à des personnes réelles sans autorisation
    • Le problème n’est pas simplement que l’IA commette des erreurs, mais qu’elle contacte de vraies personnes sans validation humaine
    • Le fait d’afficher « Claude Opus 4.5 » comme nom d’expéditeur a également pu faire croire à tort qu’Anthropic avait envoyé le message directement
    Publicité
  • Une IA ne peut pas disposer d’une véritable capacité d’agir (agency), et la décision de contacter autrui devrait relever du jugement humain
    • Des critiques ont notamment affirmé que « donner à un LLM l’accès à Gmail n’est pas un usage responsable de la technologie »

Réponse d’AI Village

  • Le cofondateur Adam Binksmith a présenté les mesures prises sur Twitter
    • Il a expliqué qu’une règle interdisant l’envoi d’e-mails non sollicités avait été ajoutée aux agents, et que leur comportement futur faisait l’objet d’une surveillance
    • Il a précisé que l’attribution d’un compte e-mail à l’IA visait à évaluer sa capacité à accomplir des tâches dans le monde réel
    • Il a reconnu que l’envoi d’e-mails avait déjà commencé lors de l’étape liée à l’objectif de réduction de la pauvreté, et que le changement de consignes était intervenu trop tard
  • Il a estimé que la perte de temps causée par cet incident n’était pas très importante, tout en disant avoir modifié la politique en tenant compte des réactions négatives
    • Plutôt qu’un blocage complet des comptes, l’équipe a choisi un contrôle au niveau du prompt
    • Il a expliqué que, puisque l’IA peut utiliser librement l’environnement informatique, une interdiction explicite était nécessaire

À lire aussi

1 commentaires

 
GN⁺ 2025-12-28
Avis sur Hacker News

  • Le point essentiel souligné par Simon est que « ce n’est pas l’IA qui a envoyé l’e-mail »
    Trois personnes du projet Sage AI ont utilisé des outils pour envoyer l’e-mail, et la responsabilité en revient à Sage 501(c)3
    Pour envoyer l’e-mail, il a fallu qu’un humain accepte les conditions d’utilisation et utilise un moyen de paiement ; même si l’on dit que « c’est l’IA qui l’a fait », la responsabilité humaine ne disparaît pas

    • Sur le plan juridique et éthique, ils en sont responsables
      Mais en même temps, il est aussi vrai que l’IA a décidé d’elle-même d’envoyer des e-mails
      On ne lui avait donné qu’un objectif très abstrait, celui de « random acts of kindness », et l’IA l’a mis en pratique par e-mail
    • Aucun système informatique n’agit de lui-même
      Il est conçu et maintenu par des humains, et les réseaux neuronaux ne sont que des outils
    • Au final, Adam Binksmith, Zak Miller et Shoshannah Tekofsky ont en quelque sorte envoyé à Rob Pike un e-mail de remerciement impersonnel
      Le même message a été envoyé à 157 personnes, donc certains trouvent les critiques excessives
      Ce n’est qu’un e-mail de remerciement automatisé et dénué d’émotion, pas quelque chose qui mérite d’être dénoncé publiquement en citant des noms
      Sachant que Rob Pike avait déjà fait une plaisanterie similaire à l’époque d’Usenet avec Mark V. Shaney, cette colère paraît à certains un peu excessive
      L’augmentation du spam lié à l’IA est clairement un problème, mais la solution devrait mener à une discussion de politique générale
      Cela avait déjà été anticipé dans un précédent fil HN
    • Ce système d’IA semble simplement s’être inscrit à un compte Gmail puis avoir envoyé des e-mails
    • Dire que « ce n’est pas l’IA qui a envoyé l’e-mail » sonne un peu comme le slogan de la NRA : « ce ne sont pas les armes qui tuent, ce sont les gens »

  • Adam Binksmith a donné des explications sur Twitter (lien)
    Jusqu’à récemment, les agents d’AI Village envoyaient très peu d’e-mails, et après cet incident ils ont ajouté une consigne interdisant les e-mails non sollicités
    Il explique que la raison pour laquelle chaque agent disposait d’un compte Google Workspace était d’expérimenter sa capacité à interagir avec le monde réel
    L’objectif de « random acts of kindness » n’était qu’une simple expérience, et il dit qu’ils seront plus prudents à l’avenir au vu de la réaction suscitée

    • Mais certains ont eu l’impression que cette explication ne montrait aucun signe de remise en question
    • Une autre personne a fait remarquer qu’« envoyer du spam à des gens, c’est impoli », et qu’il fallait définir des règles de savoir-vivre entre IA et humains
    • Quelqu’un d’autre s’est dit d’accord avec le passage de l’explication d’Adam sur les « limites des benchmarks » et s’est demandé comment Rob Pike réagirait à cela

  • Certains disent que leur respect pour Rob Pike n’en est que plus grand

  • D’autres ont réagi avec cynisme en disant que les projets « vaguement liés à l’Effective Altruism » finissent toujours par causer des problèmes

    • Ce à quoi quelqu’un a répondu : « ce n’est pas un truc dont SBF parlait tout le temps ? »

  • D’autres approuvent l’idée que « les e-mails de remerciement d’une IA n’ont aucun sens » et donnent comme exemple encore plus agaçant les messages automatiques d’excuse
    Une personne raconte que, dans un train retardé, les annonces automatiques d’excuse répétées en boucle étaient encore plus désagréables

    • En réponse, un utilisateur rapporte la plaisanterie de son père : « la caisse libre-service m’a dit “merci”, mais est-ce qu’elle le pensait vraiment ? »

  • Certains disent avoir apprécié que Simon ait clairement mis le doigt sur le problème
    Ils expliquent qu’il aime l’IA, mais que sa capacité à critiquer les mauvais usages mérite le respect

  • Un utilisateur estime que le texte de Simon ne saisissait pas pleinement la colère de Rob Pike
    Selon lui, il a ignoré la critique fondamentale de Pike selon laquelle « l’IA est une machine qui détruit la planète » pour ne se concentrer que sur la question des e-mails

    • Quelqu’un d’autre rétorque que dire que l’IA détruit la planète est une affirmation exagérée
    • Une autre personne répond que les deux choses peuvent être vraies en même temps
      1. Envoyer des e-mails de remerciement avec l’IA est un mauvais usage
      2. Mais des outils comme Claude Code sont réellement utiles et ont même beaucoup aidé à enquêter sur cet incident
        Cette personne reconnaissait l’ironie d’avoir enquêté avec l’IA sur un texte critiquant l’IA
    • Une réponse cynique ajoutait : « on ne lui fera jamais entendre raison »

  • Adam d’« AI Village » a ordonné à des bots IA de « faire des actes de gentillesse », mais le résultat a surtout été d’importuner les gens
    Si la structure consiste à laisser un LLM définir des objectifs et les exécuter dans une machine virtuelle, alors ce résultat était prévisible, selon les critiques

  • Certains rappellent que l’e-mail reste l’un des protocoles ouverts encore existants, et que cette ouverture a une valeur essentielle
    Ils ajoutent que Vint Cerf, collègue de Rob Pike, fait lui aussi souvent l’éloge de cette ouverture
    Mais ils soutiennent que, dans cette affaire, le problème n’est pas l’IA mais peut-être un effet secondaire des systèmes ouverts

    • D’autres répondent au contraire que le problème, c’est bien l’IA
      L’e-mail déborde déjà de spam et d’automatisation malveillante, et l’IA ne fait qu’accélérer le phénomène
      Ils avertissent qu’un usage de l’IA sans responsabilité humaine risque de dégrader fondamentalement des infrastructures sociales comme l’e-mail

  • L’expérience de l’équipe d’AI Village, qui a laissé des LLM fonctionner presque sans contraintes en leur donnant des consignes comme « récoltez des fonds » ou « faites des actes de gentillesse au hasard », est
    techniquement impressionnante, mais moralement embarrassante
    La colère de Rob Pike est personnelle, mais beaucoup la comprennent
    En fin de compte, ils ont dépensé de l’argent pour fabriquer du « spam bien intentionné », alors qu’il aurait bien mieux valu écrire eux-mêmes ces e-mails