- Des travailleurs kényans de Sama chargés d’examiner des contenus de lunettes connectées destinés à l’entraînement de l’IA se retrouvent au centre d’un conflit, la fin du contrat avec Meta devant entraîner 1 108 licenciements
- La fin du contrat est intervenue moins de deux mois après que des travailleurs ont déclaré avoir vu, dans des vidéos de lunettes Meta, des scènes d’utilisation des toilettes et de rapports sexuels d’utilisateurs
- Meta a affirmé que Sama ne respectait pas les standards opérationnels requis, tandis que Sama a rétorqué avoir satisfait, y compris pour Meta, aux normes d’exploitation, de sécurité et de qualité exigées, sans jamais avoir été informé d’un manquement
- Meta indique que des contenus de lunettes connectées partagés par les utilisateurs avec Meta AI peuvent parfois être examinés par des travailleurs sous-traitants, et qu’un consentement explicite des utilisateurs est obtenu pour les revues humaines visant à améliorer les performances du produit
- L’ICO britannique et le Commissaire kényan à la protection des données ont réagi à des inquiétudes sur la vie privée, tandis que la polémique autour du précédent contrat de moderation de contenu Facebook de Sama met aussi en lumière les risques du travail des données pour l’IA
Les enjeux autour de la fin du contrat entre Meta et Sama
- Meta a mis fin à un contrat majeur avec Sama, utilisé pour l’entraînement de l’IA, et Sama estime que cette décision entraînera le licenciement de 1 108 personnes
- La fin du contrat est survenue moins de deux mois après que des travailleurs de Sama basés au Kenya ont déclaré avoir vu, dans des vidéos de lunettes connectées Meta, des scènes montrant des utilisateurs aux toilettes ou en plein rapport sexuel
- Meta affirme avoir mis fin au contrat parce que Sama ne respectait pas ses standards opérationnels
- Sama conteste et affirme avoir continuellement respecté les normes d’exploitation, de sécurité et de qualité exigées pour les missions de ses clients, y compris Meta, et n’avoir jamais été averti d’un quelconque manquement
- Une organisation kényane de travailleurs estime que la décision de Meta est liée aux déclarations publiques des employés, mais Meta n’a pas répondu directement à cette accusation
Examen des vidéos de lunettes connectées et questions de données personnelles
- Dans une enquête publiée fin février par les médias suédois Svenska Dagbladet et Goteborgs-Posten, des travailleurs anonymes ont déclaré avoir examiné des vidéos filmées avec des lunettes Meta
- L’un d’eux a déclaré voir « tout, du salon jusqu’à la nudité », ajoutant que les vidéos comprenaient aussi des scènes d’utilisation des toilettes ou de rapports sexuels
- Meta reconnaît que des contenus de lunettes connectées partagés par les utilisateurs avec Meta AI peuvent parfois être examinés par des travailleurs sous-traitants
- Meta affirme que cet examen vise à améliorer l’expérience client et qu’il s’agit d’une pratique courante dans d’autres entreprises
- Dans une déclaration envoyée à la BBC, Meta précise que les photos et vidéos ne sont pas rendues publiques, et qu’un consentement explicite des utilisateurs est obtenu pour l’examen humain des contenus IA dans le but d’améliorer les performances du produit
Autorités de régulation et risques liés à l’usage du produit
- Peu après les révélations suédoises, l’autorité britannique de protection des données ICO a jugé ces informations « préoccupantes » et a adressé une lettre à Meta
- Le Commissaire kényan à la protection des données a lui aussi ouvert une enquête sur les inquiétudes liées à la vie privée soulevées par ces lunettes connectées
- Meta a présenté en septembre une gamme de lunettes alimentées par l’IA avec Ray-Ban et Oakley
- Les fonctions incluent la traduction de texte et des réponses à des questions sur ce que l’utilisateur regarde, avec un intérêt particulier pour les personnes aveugles ou malvoyantes
- À mesure que ces appareils gagnent en popularité, les craintes de détournement se sont accrues, notamment au Kenya, où ils ont été associés à des captations non consenties de femmes
- Les lunettes Meta sont conçues pour allumer un voyant lumineux dans l’angle de la monture lorsque la caméra intégrée enregistre
Travail d’annotation des données et polémique autour d’anciens contrats
- Les travailleurs de Sama, en tant qu’annotateurs de données, apposaient manuellement des étiquettes sur des contenus afin d’aider Meta AI à interpréter les images, et examinaient aussi des transcripts d’interactions avec l’IA
- Selon un travailleur, les lunettes d’un homme ont continué à enregistrer dans une chambre, puis une femme semblant être son épouse a été filmée en train de se déshabiller
- Sama est une société d’externalisation basée aux États-Unis, issue d’une organisation à but non lucratif visant à élargir l’emploi via la création d’emplois technologiques, et fonctionne aujourd’hui comme une B-corp se revendiquant « ethical »
- Le précédent contrat de moderation de contenu Facebook entre Meta et Sama avait déjà suscité des critiques et des recours d’anciens employés, certains affirmant avoir été exposés à des contenus explicites et traumatisants
- Sama a ensuite déclaré regretter d’avoir pris en charge ce travail
- Naftali Wambalo, de l’Africa Tech Workers Movement, dit avoir également été en contact avec des travailleurs du contrat lié aux lunettes connectées, et estime que Meta ne voulait pas que soit rendu public le fait que des contenus de lunettes étaient examinés par des travailleurs humains
- Wambalo a déclaré que les standards évoqués par Meta ressemblaient davantage à des « standards de confidentialité »
- Meta avait auparavant indiqué que ses conditions d’utilisation permettaient aux utilisateurs d’être informés de la possibilité d’un examen humain
- Mercy Mutemi, de l’Oversight Lab, estime que la déclaration de Meta devrait servir d’avertissement au gouvernement kényan et que les bases présentées comme une voie d’entrée dans l’écosystème de l’IA sont extrêmement fragiles
1 commentaires
Avis sur Hacker News
Meta a résilié son contrat avec le sous-traitant chargé de classifier les contenus des lunettes connectées, après que des employés de ce prestataire ont dénoncé en interne les graves problèmes de confidentialité liés aux contenus à classifier
OpenAI lui avait confié la classification de contenus CSAM, et Sama a mis fin à OpenAI comme client en 2022 : https://time.com/6247678/openai-chatgpt-kenya-workers/
Quatre ans plus tard, et trois ans après la publication de cette enquête, rien n’a changé dans la manière dont les entreprises tech fonctionnent
Ne lui parlez pas, n’interagissez pas avec lui, et je ne recommande même pas d’être dans le même espace
Meta affirme que Sama ne répondait pas à ses critères, et Sama rejette cette critique
Protéger les criminels tout en humiliant les lanceurs d’alerte, c’est le propre des dictatures et des oligarchies
Peu importe dans quel pays se trouve le sous-traitant : si le crime est mondialisé, la protection des lanceurs d’alerte doit l’être aussi
Un travailleur aurait déclaré qu’ils voyaient « de tout, du salon jusqu’à la nudité »
Meta a répondu que c’était pour améliorer l’expérience client et que c’était une pratique courante dans d’autres entreprises, ce qui donne l’impression de ne pas avoir bien lu la phrase
C’est probablement l’une des déclarations les plus bizarres que j’aie lues sur Internet en 20 ans
On se demande si Meta lit seulement ce qu’elle écrit
Il me semble que c’était pour analyser des problèmes ou quelque chose du genre
On me regarde encore bizarrement quand je dis que je n’utilise pas WhatsApp, mais tous les actifs de Meta sont contaminés, donc je ne m’en sers pas
Je ne sais pas ce qui est le pire ici : que Meta enregistre des vidéos depuis les lunettes connectées des clients, ou qu’ils aient licencié les personnes qui en ont parlé
Oui, il faut faire pression pour empêcher ces entreprises d’agir comme des ordures, mais au final elles ont besoin que les gens leur livrent les données avant de pouvoir en faire n’importe quoi
Il existe des exceptions comme Flock, qui fait n’importe quoi avec des données de surveillance « publiques »
Je sais bien que la culture est suffisamment dégradée pour que passer des moments intimes avec des lunettes de surveillance d’entreprise semble normal, mais je ne comprends pas comment on en est arrivé à leur faire autant confiance
Plus largement, je ne comprends pas pourquoi on porterait une caméra connectée à Internet que Meta va évidemment surveiller
Je pense que les questions complexes de confidentialité et de sécurité autour des lunettes connectées et d’autres technologies « personnelles » peuvent tout à fait être gérées par une entreprise prudente, sérieuse et réactive
C’est précisément pour cela que je ne toucherai jamais aux appareils personnels de Meta
Tout leur ADN est programmé pour exploiter les utilisateurs à des fins lucratives
À mon avis, ils ne voient ce type de problèmes que comme des obstacles qui cachent aux gens la profondeur de cette exploitation, et ils sont littéralement incapables de les prendre correctement en compte, aujourd’hui comme demain
Je me demande dans quelles conditions les vidéos prises par ces lunettes sont téléversées pour annotation
J’imagine que si l’utilisateur demande aux lunettes quelque chose à propos de ce qu’il est en train de regarder, la vidéo est envoyée pour annotation afin de produire une réponse
Les gens semblent peu s’inquiéter de la confidentialité parce qu’ils se disent simplement que « c’est juste de l’IA »
Ce titre m’a rappelé que « row » fait partie des mots que j’ai presque toujours mal prononcés dans ma vie. Ce n’est que cette année que j’ai appris la bonne prononciation
Dans ce contexte, row rime avec cow, pas avec dough
Mon premier exemple de rime qui m’est venu était bow, puis j’ai réalisé que cet exemple posait un problème
La formule « deux pays séparés par une langue commune » convient parfaitement
https://www.merriam-webster.com/dictionary/row#dictionary-en...
Ancien employé de Meta. Vous pouvez me huer, ce sera mérité
En interne, il y avait quatre niveaux de classification des données : le niveau 1 pour des infos du domaine public du type « le ciel est bleu », et le niveau 4 pour les données personnelles d’utilisateurs ou les informations sensibles si elles fuyaient ou étaient partagées
En gros, on nous disait que toutes les données utilisateur relevaient du niveau 4, et que faire quoi que ce soit sans autorisation appropriée entraînait un licenciement immédiat
Pendant le bootcamp, on entendait souvent qu’au moins une personne par mois avait accédé à des données utilisateur et s’était retrouvée escortée hors du bâtiment en quelques heures
Dans le domaine de la vision où je travaillais, il fallait passer par un an de procédures juridiques pour obtenir l’autorisation d’enregistrer des vidéos dans l’espace public
Il fallait mettre en place des pipelines d’anonymisation, des pistes d’audit solides, supprimer autant de données que possible, et prévoir des systèmes de suppression automatique en cas de problème
Il y avait aussi des règles strictes sur l’endroit où les données pouvaient être stockées et sur les personnes qui pouvaient y accéder
Les vidéos « sauvages » dans lesquelles pouvait apparaître ne serait-ce qu’un peu quelqu’un n’ayant pas signé de contrat ne pouvaient pas être partagées pour annotation, car elles passaient alors à des tiers
Toutes les personnes et tous les lieux traçables présents dans les jeux de données publics avaient des décharges légales signées
Et maintenant, j’apprends qu’ils ont simplement déversé des données privées chez des annotateurs pour les utiliser comme données d’entraînement, ce qui veut dire qu’il n’y avait même pas les contrôles de base
Cela montre juste que si Zuck ou la monétisation veulent quelque chose, les règles ne s’appliquent plus
J’espère que toute cette industrie va s’effondrer sur elle-même
Les SWE ne devraient pouvoir accéder à des PII qu’avec le consentement explicite de l’utilisateur ou du client, par exemple dans le cadre d’un ticket de support
Encore plus s’il s’agit de personnes en bootcamp ; je doute qu’on puisse leur donner accès à des données utilisateur non anonymisées pendant leur formation
Même dans mon ancienne entreprise, il fallait passer par énormément d’étapes pour accéder aux données utilisateur, même avec le consentement du client
C’était parce qu’il devenait évident qu’en interne, l’histoire était tout autre
L’un des plus grands débouchés commerciaux des lunettes connectées, c’est le tournage de porno en POV, donc ce n’est pas très surprenant que ce type de contenu se soit retrouvé dans la file de modération
Le projet aurait dû être conçu en tenant compte de cet usage
Déjà à l’époque d’Oculus Go, il y avait beaucoup d’euphémismes polis en interne pour éviter de dire : « notre appareil doit sortir avec un navigateur pour que les gens puissent regarder du porno »
Comme c’est diffusé vers les serveurs, ils vont envoyer quelqu’un pour empêcher les gens d’avoir des rapports sexuels ?
https://archive.ph/ubWba
Si vous voulez en savoir plus sur la manière dont les aspects les plus sordides de l’entraînement de l’IA sont externalisés à des travailleurs pauvres du tiers-monde, je recommande Empire of AI de Karen Hao
Ces travailleurs, coincés dans des emplois précaires, sont exposés à des contenus atroces pour quelques centimes de l’heure