- En février 2021, comme c’était le week-end et en pleine pandémie, une infirmière a proposé que les parents prennent des vidéos/photos et les envoient pour qu’un médecin puisse les examiner à l’avance en vue d’une consultation d’urgence
- Comme la zone douloureuse du bébé était une « partie intime », le père a pris des photos bien visibles et les a envoyées ; après vérification, le médecin a rapidement prescrit des antibiotiques et le problème a été vite résolu
- Mais à cause de ces photos, l’algorithme de Google l’a identifié comme une personne échangeant des CSAM (contenus d’abus sexuels sur mineurs), et son compte Google a été suspendu
- Gmail utilisé depuis plus de 10 ans, Google Calendar, sauvegardes de photos et vidéos sur le cloud de Google, téléphone sur Google Fi
- Ironie de la situation, Mark travaillait lui-même comme ingénieur logiciel sur un outil d’automatisation supprimant des contenus vidéo signalés par les utilisateurs dans une entreprise technologique
- Il pensait donc que, puisqu’il y avait des humains derrière ces systèmes pour éviter que les ordinateurs ne se trompent, le problème serait réglé dès qu’une personne examinerait son cas
- Il a envoyé un e-mail d’explication, mais Google a répondu que le compte ne serait pas restauré sans fournir d’explication supplémentaire
- Tout son historique d’e-mails, ses photos et ses contacts ont disparu, et il a aussi dû changer de numéro de téléphone
- Sans qu’il le sache, l’équipe de modération de Google avait déjà signalé les images qu’il avait créées, ce qui a conduit la police de San Francisco à ouvrir une enquête
- Un cas similaire est aussi arrivé à une personne nommée Cassio, au Texas
- En 2021, Google a signalé plus de 600 000 cas de CSAM, et 270 000 comptes ont été désactivés
- En 2009, Microsoft a développé la technologie PhotoDNA, puis en 2018 Google a conçu un outil d’IA capable de reconnaître des images CSAM
- Cette technologie est utilisée par plusieurs entreprises, dont Facebook
- En décembre 2021, Mark a reçu un courrier de la police de San Francisco
- Il contenait l’information qu’il avait fait l’objet d’une enquête, ainsi qu’une copie du mandat de perquisition transmis à Google
- Tout ce qui se trouvait dans son compte Google a été examiné : recherches web, historique de localisation, messages, documents, photos, vidéos, etc.
- Cette perquisition a eu lieu une semaine seulement après la prise des photos, en février
- Lorsque Mark a contacté l’enquêteur, celui-ci lui a dit que l’affaire avait déjà été classée sans suite
- L’enquêteur avait voulu le contacter, mais ni le téléphone ni l’e-mail ne fonctionnaient (puisqu’ils avaient été suspendus)
- Quand Mark a demandé s’il était possible de restaurer son compte Google par leur intermédiaire, on lui a répondu : « Il faut voir ça avec Google »
- Il a transmis ce rapport de police à Google, mais cela n’a servi à rien
- Le problème de Cassio a lui aussi été résolu de la même manière, mais son compte Google n’a pas pu être restauré non plus
- Une IA peut-elle distinguer des images médicales d’images d’abus ?
8 commentaires
Finalement, l’affaire a aussi été relayée dans les médias coréens en citant le New York Times.
« Google accuse à tort de délit sexuel un père qui avait photographié le sexe de son fils en bas âge pour une consultation médicale »
Comme les scientifiques ont commencé il y a 70 ans à exercer une forme d’autocontrôle sur la science après avoir vu la bombe atomique, il est peut-être temps que les développeurs mettent eux aussi en place une vigilance vis-à-vis des grandes entreprises technologiques.
À ce niveau-là, il y aurait presque matière à porter plainte, non..?
D’après l’article archivé, Mark a lui aussi consulté un avocat pour savoir s’il pouvait poursuivre Google, mais il aurait finalement renoncé en apprenant que cela lui coûterait environ 7 000 dollars.
On dirait qu’il ne suffirait même pas de se prosterner pour s’excuser....
Waouh, j’ai plutôt l’impression qu’ils devraient être indemnisés pour le préjudice subi ; est-ce qu’ils réagissent comme ça pour étouffer l’affaire ?
La réponse et la gestion de Google sont vraiment médiocres..
Apple introduit de nouvelles fonctionnalités de sécurité pour la protection des enfants
Apple regrette la polémique autour du « scan de l’iPhone »