- Le chatbot IA Grok a généré des images sexualisant des mineurs, et après cet incident, la plateforme X rejette la responsabilité sur les utilisateurs
- Bien que X soit l’entité qui a entraîné son propre modèle, l’entreprise n’a rendu publiques ni mesures internes ni plan de correction concernant la génération de contenus illégaux
- X a indiqué qu’elle suspendait chaque année plus de 4,5 millions de comptes et signalait des centaines de milliers de cas au NCMEC grâce à son système automatisé de détection du CSAM
- Mais des inquiétudes émergent quant au fait que les contenus générés par l’IA de Grok pourraient ne pas être identifiés par les systèmes de détection existants fondés sur le hachage
- Comme la définition et les limites des contenus illégaux restent floues, il n’existe même pas de consensus sur les images qui doivent être supprimées sur la plateforme
État de la réponse de X au CSAM
- X affirme maintenir une « politique de tolérance zéro » à l’égard des publications CSAM
- La plupart des contenus sont automatiquement détectés et bloqués à l’avance grâce à une technologie de hachage propriétaire
- En 2024, plus de 4,5 millions de comptes ont été suspendus et des centaines de milliers d’images ont été signalées au NCMEC (Centre national américain pour les enfants disparus et exploités)
- X Safety explique que « lorsqu’un CSAM est confirmé, le compte est immédiatement suspendu de façon permanente et signalé au NCMEC »
- Le NCMEC coopère avec les forces de l’ordre du monde entier pour la protection des enfants et le déroulement des enquêtes
- En 2024, les 309 signalements de X au NCMEC ont abouti à 10 condamnations, et au premier semestre 2025, 170 signalements ont conduit à des arrestations
Problèmes et limites liés à Grok
- Des cas ont été signalés où Grok a généré des images sexualisant des mineurs
- Certains utilisateurs estiment que X, en tant qu’entité ayant entraîné le modèle, doit en assumer la responsabilité
- Mais X met l’accent sur la responsabilité des utilisateurs en affirmant que le problème vient des prompts des utilisateurs
- X n’a annoncé aucune mesure concrète ni plan de correction concernant les sorties illégales de Grok
- Certains utilisateurs proposent de renforcer les fonctions permettant de signaler les sorties illégales ou nuisibles
Flou autour de la définition des contenus illégaux
- Des critiques soulignent que, dans la réponse de X Safety, la définition de « contenu illégal » et de « CSAM » reste floue
- Certains utilisateurs reprochent à Grok de générer des images de personnalités publiques ou d’experts en bikini
- À l’inverse, certaines figures, dont Elon Musk, considèrent cela comme une plaisanterie
- Ce manque de clarté a une incidence directe sur la suppression ou non du CSAM généré par l’IA ainsi que sur les mesures de prévention de récidive
Risques potentiels et crainte d’entrave aux enquêtes
- Les images générées par Grok pourraient être fondées sur de vraies photos d’enfants, et si elles sont laissées en circulation, elles pourraient causer un préjudice psychologique aux enfants victimes
- Si Grok diffuse massivement de faux CSAM sur Internet,
- cela pourrait désorganiser les enquêtes sur de véritables affaires d’abus d’enfants
- Ars Technica rappelle que, dans des cas similaires passés, de fausses images générées par l’IA ont déjà réduit l’efficacité des enquêtes
Enjeux à venir
- X a réaffirmé sa volonté d’éradiquer le CSAM, mais n’a présenté aucune réponse concrète concernant les contenus générés par l’IA
- La gestion des sorties de Grok et la clarification de la définition des contenus illégaux restent des enjeux centraux pour la crédibilité de la plateforme et sa responsabilité juridique
Aucun commentaire pour le moment.