X rejette sur les utilisateurs la responsabilité des contenus pédopornographiques (CSAM) générés par Grok et n’annonce aucun correctif

• Le chatbot IA Grok a généré des images sexualisant des mineurs, et après cet incident, la plateforme X rejette la responsabilité sur les utilisateurs
• Bien que X soit l’entité qui a entraîné son propre modèle, l’entreprise n’a rendu publiques ni mesures internes ni plan de correction concernant la génération de contenus illégaux
• X a indiqué qu’elle suspendait chaque année plus de 4,5 millions de comptes et signalait des centaines de milliers de cas au NCMEC grâce à son système automatisé de détection du CSAM
• Mais des inquiétudes émergent quant au fait que les contenus générés par l’IA de Grok pourraient ne pas être identifiés par les systèmes de détection existants fondés sur le hachage
• Comme la définition et les limites des contenus illégaux restent floues, il n’existe même pas de consensus sur les images qui doivent être supprimées sur la plateforme

---

État de la réponse de X au CSAM

• X affirme maintenir une « politique de tolérance zéro » à l’égard des publications CSAM
  • La plupart des contenus sont automatiquement détectés et bloqués à l’avance grâce à une technologie de hachage propriétaire
  • En 2024, plus de 4,5 millions de comptes ont été suspendus et des centaines de milliers d’images ont été signalées au NCMEC (Centre national américain pour les enfants disparus et exploités)
• X Safety explique que « lorsqu’un CSAM est confirmé, le compte est immédiatement suspendu de façon permanente et signalé au NCMEC »
  • Le NCMEC coopère avec les forces de l’ordre du monde entier pour la protection des enfants et le déroulement des enquêtes
• En 2024, les 309 signalements de X au NCMEC ont abouti à 10 condamnations, et au premier semestre 2025, 170 signalements ont conduit à des arrestations

Problèmes et limites liés à Grok

• Des cas ont été signalés où Grok a généré des images sexualisant des mineurs
  • Certains utilisateurs estiment que X, en tant qu’entité ayant entraîné le modèle, doit en assumer la responsabilité
  • Mais X met l’accent sur la responsabilité des utilisateurs en affirmant que le problème vient des prompts des utilisateurs
• X n’a annoncé aucune mesure concrète ni plan de correction concernant les sorties illégales de Grok
  • Certains utilisateurs proposent de renforcer les fonctions permettant de signaler les sorties illégales ou nuisibles

Flou autour de la définition des contenus illégaux

• Des critiques soulignent que, dans la réponse de X Safety, la définition de « contenu illégal » et de « CSAM » reste floue
  • Certains utilisateurs reprochent à Grok de générer des images de personnalités publiques ou d’experts en bikini
  • À l’inverse, certaines figures, dont Elon Musk, considèrent cela comme une plaisanterie
• Ce manque de clarté a une incidence directe sur la suppression ou non du CSAM généré par l’IA ainsi que sur les mesures de prévention de récidive

Risques potentiels et crainte d’entrave aux enquêtes

• Les images générées par Grok pourraient être fondées sur de vraies photos d’enfants, et si elles sont laissées en circulation, elles pourraient causer un préjudice psychologique aux enfants victimes
• Si Grok diffuse massivement de faux CSAM sur Internet,
  • cela pourrait désorganiser les enquêtes sur de véritables affaires d’abus d’enfants
  • Ars Technica rappelle que, dans des cas similaires passés, de fausses images générées par l’IA ont déjà réduit l’efficacité des enquêtes

Enjeux à venir

• X a réaffirmé sa volonté d’éradiquer le CSAM, mais n’a présenté aucune réponse concrète concernant les contenus générés par l’IA
• La gestion des sorties de Grok et la clarification de la définition des contenus illégaux restent des enjeux centraux pour la crédibilité de la plateforme et sa responsabilité juridique

[GN⁺]

Commentaires sur Hacker News

• Je vais à peine sur X ces derniers temps. Il y a trop de discours haineux, et surtout, sous les publications tendance de femmes, les commentaires utilisant Grok pour sexualiser et manipuler leurs photos débordent.
  Je laisse quelques liens comme exemples : lien1, lien2, lien3

  • C’était déjà très désagréable de voir les réponses de comptes vérifiés payants toujours remonter en haut, exposant en priorité les propos les plus extrêmes
  • Moi non plus, j’utilise très peu X, mais en regardant directement les réponses de Grok, on voit que le problème est assez répandu. Cela visait aussi bien des hommes que des femmes. Cela dit, la version bikini de Xi Jinping m’a fait rire. Mais cette culture de la haine reste extrêmement grave
  • En ce moment sur X, ce type de mèmes Grok se propage comme une mode. Des choses similaires arrivent aussi sur des publications d’hommes, mais cela ne les rend pas acceptables pour autant
  • J’ai rouvert mon compte Twitter pour la première fois depuis longtemps, et mon fil est complètement envahi de théories du complot et de racisme. Négation du changement climatique, suprémacisme blanc, complots antivaccins. C’est choquant que ce soit censé être une source d’actualité majeure sur Internet
  • X m’a contacté pour racheter mon nom d’utilisateur d’origine, mais quand j’ai proposé de négocier, ils ont soudain invoqué les conditions d’utilisation pour me prendre le compte. C’est vraiment absurde

• Quand je vois des gens qui ne considèrent pas comme un problème le fait que des femmes sur Twitter doivent subir des messages du type « Grok, enlève-lui ses vêtements », j’ai l’impression de voir un exemple typique de culture du viol

  • Ce fil met vraiment en colère. Ceux qui essaient de défendre X refusent de regarder la réalité en face. Grok peut être détourné en outil de génération pornographique, y compris impliquant des mineurs, alors qu’on voit très peu ce genre de problème sur d’autres plateformes d’IA
  • Je pense que l’un des objectifs de gens comme Musk et Miller est aussi de faire en sorte que les femmes aient peur de s’exprimer dans l’espace public

• X dit « supprimer les contenus illégaux et suspendre définitivement les comptes », mais le vrai problème est, selon moi, d’avoir rendu possible la génération même de tels contenus

  • J’utilise l’IA, mais on peut configurer ces systèmes pour empêcher ce type de sortie. Donc si le problème vient de l’entrée, la responsabilité doit être assumée à la fois par l’utilisateur et par la plateforme
  • On dirait qu’ils n’ont même pas configuré de prompt système demandant à Grok de refuser ce genre de requêtes
  • Déjà à l’époque de l’API, il y avait énormément de CSAM (contenus d’abus sexuels sur mineurs), et il en reste encore aujourd’hui sur des sites comme tk2dl
  • S’ils voulaient vraiment traiter cela sérieusement, ils devraient signaler pénalement ces utilisateurs. Je me demande pourquoi les procureurs généraux des États ne disent rien
  • Il y a même eu des cas où Elon est intervenu directement pour rétablir des comptes suspendus. Article lié

• Juridiquement, la Section 230 ne s’applique pas aux contenus produits directement par la plateforme. Grok est un agent direct de X, donc la responsabilité s’applique.

  • Le CSAM étant une infraction pénale, il n’est pas protégé par la Section 230. Comme Grok fait partie de X, l’exonération de responsabilité est impossible. En revanche, il est probable que les grandes entreprises d’IA fassent du lobbying pour obtenir des clauses d’immunité
  • Aux Pays-Bas, ce type de génération d’images sexuelles non consenties est considéré comme diffamatoire. Le diffuseur comme le créateur sont passibles de sanctions. Dans un cas comme X, où le diffuseur et le créateur sont la même entité, les conséquences juridiques pourraient être très intéressantes
  • Les images en question sont publiées directement non pas par l’utilisateur, mais par Grok (X)

• La discussion sur les modèles ouverts est intéressante. D’ordinaire, beaucoup soutiennent des modèles sans garde-fous, mais dans ce fil, l’opinion inverse domine largement.

  • Je pense aussi qu’il faut des modèles ouverts, mais une IA intégrée à une plateforme grand public et facilement accessible doit avoir des dispositifs de sécurité. C’est comme sur Android : on peut installer des apk manuellement, mais la boutique par défaut applique des filtres de sécurité
  • L’important est de trouver un équilibre entre accessibilité et prévention des abus
  • Défendre un accès sans garde-fous et condamner les usages abusifs sont deux choses distinctes. Autoriser Photoshop ne signifie pas autoriser le revenge porn
  • La plupart des gens parlent de l’ouverture des LLM, pas d’un usage illimité des modèles d’image ou de vidéo. En dehors de la prévention du CSAM, je me demande bien quelles autres restrictions seraient nécessaires
  • Le Grok commercialisé par X fonctionne comme un service payant, ce qui le distingue d’un simple modèle ouvert. Il faut voir cela comme la différence entre un « fabricant de porno » et un « utilisateur de Photoshop »
  • Les sujets liés à Musk suscitent toujours beaucoup de réactions émotionnelles. Cette fois aussi, la répartition des opinions semble différente de d’habitude à cause d’un sentiment anti-Musk

• En Europe, il n’existe pas de Section 230, et la responsabilité incombe directement à la plateforme et à l’exploitant. Le CSAM généré par IA est traité comme du matériel d’abus réel. L’absence de garde-fous dans Grok pourrait entraîner des poursuites pénales.

  • Comme Grok publie directement depuis les serveurs de X, X ne peut pas prétendre qu’il s’agit d’un simple « téléversement utilisateur ». Si un employé postait de telles images avec Photoshop, X en serait responsable de la même façon
  • Cela dit, on peut douter que l’Europe prenne réellement des mesures fortes. Par souci de ses relations avec les États-Unis, elle pourrait se contenter de sanctions de pure forme
  • À noter qu’en Europe aussi, il existe des dispositions de protection similaires via l’E-Commerce Directive et le Digital Service Act

• Il est étrange qu’ils aient pu modifier Grok pour qu’il fasse l’éloge de Musk, mais qu’ils n’aient pas mis de filtre anti-CSAM

  • En pratique, Grok est configuré pour faire l’éloge de Musk et d’Hitler. Autrement dit, ce choix d’autoriser ce contenu est intentionnel
  • Grok peut aussi insulter Musk ou le transformer en bikini. On dirait qu’il n’y a presque aucun contrôle

• Il est surprenant que ceux qui utilisaient des avatars lolicon sur Twitter ne réagissent pas du tout au problème de CSAM sur X

  • Mais on peut se demander ce qu’ils pourraient réellement faire, ou s’il ne s’agit que d’un simple geste moral

• Je me demande à quel moment les prestataires de paiement vont intervenir et bloquer les paiements des abonnements à la coche bleue

  • C’est peut-être le seul levier de pression capable d’arrêter X

• Je comprends que ce sujet puisse être supprimé au motif qu’il est politique, mais dans ce cas précis, je pense qu’il a aussi un lien direct avec la communauté technologique

  • Le secteur du capital-risque est déjà lui-même politiquement biaisé, donc il semble mal à l’aise face à ce type de critique