Votre téléphone n’écoute pas secrètement vos conversations, mais la réalité est plus inquiétante
(newatlas.com)- Il n’existe pas de preuve claire que les smartphones écoutent en permanence les conversations pour afficher des publicités, et le ciblage publicitaire réel repose davantage sur la combinaison de données de localisation, de relations et de comportement
- En 2024, la polémique autour d’Active Listening de Cox Media Group s’est propagée à cause de documents évoquant des « real-time intent data » et l’usage de données vocales, mais les grandes entreprises technologiques ont pris leurs distances avec CMG, qui a ensuite arrêté le produit
- L’expérience menée par Wandera en 2019 a diffusé pendant 30 minutes des audios de publicité pour nourriture pour animaux sur un iPhone et un Samsung Galaxy, puis comparé l’affichage de publicités, l’usage des données, la batterie et l’activité en arrière-plan, sans trouver de trace d’un envoi permanent des données du micro
- Des chercheurs de Northeastern University ont analysé plus de 17 000 applications Android et n’ont trouvé aucun cas d’activation secrète du micro, mais ont découvert un problème de confidentialité plus direct : certaines applis envoyaient des captures d’écran et vidéos d’écran à des tiers
- Des plateformes comme Facebook peuvent prédire les centres d’intérêt à partir de volumes massifs de données personnelles — suivi entre appareils, relations amicales, localisation, achats, métadonnées d’appels et SMS sur Android — ce qui rend le système publicitaire plus opaque et plus difficile à comprendre qu’une simple écoute
Pourquoi la théorie du smartphone qui écoute revient sans cesse
- Lorsqu’on voit sur les réseaux sociaux une publicité qui correspond exactement à une conversation que l’on vient d’avoir, l’explication la plus simple semble être une écoute via le micro
- L’idée que Facebook, Google et Apple écoutent les mots-clés de conversations privées pour afficher des publicités ciblées est devenue une vieille théorie du complot technologique
- Pourtant, en dehors de cas anecdotiques, on n’a trouvé aucune preuve claire que les smartphones écoutent en permanence les conversations privées pour les utiliser dans la publicité
La polémique Active Listening en 2024
- Dans des documents révélés par 404 Media en 2024, Cox Media Group (CMG) présentait un système appelé Active Listening
- Le document expliquait qu’il pouvait obtenir des « real-time intent data » via les micros d’appareils intelligents
- Il affirmait que des « voice data », traitées par IA et combinées à d’autres « behavioral data », permettaient de fournir des publicités hautement ciblées
- La manière exacte dont Active Listening fonctionnait réellement reste floue
- Juste après la polémique, les grandes entreprises technologiques ont pris leurs distances avec CMG
- Amazon a déclaré n’avoir jamais travaillé avec CMG comme partenaire publicitaire
- Google et Meta ont rompu leurs relations avec CMG
- CMG a indiqué avoir interrompu le produit Active Listening « afin d’éviter tout malentendu »
- Dans la limite de ce que l’on peut comprendre, le système de CMG semblait moins reposer sur une écoute 24h/24 du micro du téléphone que sur l’exploitation de courts extraits vocaux envoyés dans le cloud après un mot d’activation comme « Hey Google » ou « Hey Siri »
La polémique sur les transcriptions de Facebook Messenger et les malentendus
- En 2019, un article de Bloomberg a révélé que Facebook faisait transcrire par des prestataires externes des conversations audio de Facebook Messenger
- Facebook a expliqué qu’il s’agissait d’une procédure destinée à tester la précision de son algorithme de transcription automatique et que les utilisateurs ayant activé la transcription savaient qu’un examen humain était possible
- Certains articles ont toutefois mis en doute la transparence de l’information fournie par Facebook
- L’affaire s’est propagée sous des titres du type « Facebook écoutait des conversations privées », relançant la théorie selon laquelle le micro servirait au ciblage publicitaire
- Lors d’une audition devant le Congrès américain en avril 2018, Mark Zuckerberg a répondu « nous ne faisons pas cela » lorsqu’on lui a demandé si l’entreprise écoutait les utilisateurs via le micro pour la publicité
- Facebook avait déjà affirmé en 2016 qu’il n’utilisait pas le micro du téléphone pour la publicité ou le News Feed, et que les publicités reposaient sur les centres d’intérêt et les informations de profil des utilisateurs
L’expérience de Wandera : l’usage des données ne colle pas
- La société de sécurité mobile Wandera a mené en 2019 une expérience simple pour vérifier si les smartphones écoutaient en continu les conversations
- Un iPhone et un Samsung Galaxy ont été placés dans une pièce où l’on diffusait chaque jour pendant 30 minutes, durant 3 jours, un audio publicitaire pour nourriture pour animaux
- De nombreuses autorisations d’applications ont été activées
- Les mêmes téléphones ont aussi été placés dans une pièce silencieuse pour servir de groupe de contrôle
- L’expérience cherchait à vérifier deux points
- Si des publicités pour nourriture pour animaux apparaissaient ensuite dans les flux des applications
- L’évolution de l’usage des données, de la batterie et de l’activité en arrière-plan
- Aucune application n’a affiché de publicité pour nourriture pour animaux
- Il n’y avait presque aucune différence d’usage des données, de batterie ou d’activité en arrière-plan entre la pièce avec audio et la pièce silencieuse
- James Mack, de Wandera, a déclaré que les données relevées pendant ces 30 minutes étaient bien inférieures à la consommation générée par un assistant virtuel, ce qui suggère qu’il n’y avait pas d’enregistrement permanent ni d’envoi continu vers le cloud dans les applications testées
- L’ancien chef de produit Facebook Antonio Garcia-Martinez a également expliqué dans une tribune pour Wired que la surveillance par micro nécessiterait un volume de données difficile à dissimuler
- Un appel VoIP unidirectionnel demande environ 24 kbps, soit environ 3 kB par seconde
- En supposant qu’un téléphone soit actif la moitié de la journée, cela représente environ 130 MB par utilisateur et par jour
- Pour 150 millions d’utilisateurs actifs quotidiens aux États-Unis, il faudrait environ 20 PB par jour
- Le volume total de stockage de Facebook est présenté à environ 300 PB, avec une collecte quotidienne d’environ 600 TB
- Certains objectent qu’il suffirait de détecter les mots-clés localement sur l’appareil, mais la réponse est que Facebook devrait suivre des millions de mots-clés publicitaires et que la charge CPU serait visible, donc difficile à cacher
Un suivi plus direct que le micro : la capture d’écran
- Jingjing Ren et Elleen Pan, de Northeastern University, ont conçu début 2017 une étude pour déterminer si les smartphones écoutaient les conversations à l’insu des utilisateurs
- Les chercheurs n’ont trouvé aucun cas d’activation secrète du micro
- En revanche, ils ont découvert que certaines applications capturaient automatiquement leur propre écran avant de l’envoyer à des tiers
- Christo Wilson a précisé qu’il n’y avait aucune fuite audio et que, dans un cas, une application envoyait à un tiers une vidéo de l’activité à l’écran
- Sur plus de 17 000 applications Android, plus de 9 000 disposaient potentiellement de l’autorisation permettant de faire des captures d’écran
- David Choffnes a déclaré que la capture d’écran pouvait être pire qu’une caméra filmant le plafond ou qu’un micro enregistrant des conversations sans intérêt, et qu’il n’existait pas de moyen simple de refermer cette faille de confidentialité
Le ciblage publicitaire dispose déjà de suffisamment de données
- Facebook dispose de moyens plus efficaces pour cibler les utilisateurs à partir de signaux faibles, sans miracle technique impliquant le micro
- Garcia-Martinez estime que Facebook peut retrouver un utilisateur sur tous les appareils avec lesquels il s’est connecté à Facebook et exploiter aussi bien les informations connues des commerçants que les achats en liquide effectués hors ligne
- Les données qu’une plateforme peut exploiter sont variées
- La localisation actuelle de l’utilisateur
- Les relations amicales et les centres d’intérêt de ses amis
- Des informations sur les personnes avec qui l’utilisateur passe du temps
- Le suivi sur plusieurs appareils
- Les métadonnées d’appels et de SMS sur les téléphones Android
- La possibilité de suivre des contenus saisis puis supprimés sans être envoyés
- Une fois traitées par des algorithmes, ces données peuvent permettre de prédire de quoi parlent l’utilisateur et ses proches, puis d’afficher des publicités adaptées au moment
- Les algorithmes publicitaires ne sont pas parfaits, et ils montrent souvent aussi des publicités sans rapport avec les centres d’intérêt réels
- Malgré cela, certaines publicités tombent si juste qu’il est facile pour l’utilisateur d’accepter l’explication la plus simple : l’écoute via le micro
Assistants vocaux et différence avec un enregistrement permanent
- Les appareils intelligents à commande vocale « écoutent » les utilisateurs presque en permanence, dans un certain sens
- Mais leur fonctionnement est différent d’un enregistrement continu
- L’appareil détecte localement un mot d’activation comme « Hey Google »
- Une fois ce mot détecté, il s’active brièvement et enregistre les quelques secondes de données vocales qui suivent
- Ces données sont ensuite envoyées dans le cloud pour traiter la réponse, puis le résultat est renvoyé à l’appareil
- Ces transferts de données peuvent être détectés et suivis
- Le problème n’est pas tant une écoute par le micro que la difficulté, pour un humain, de comprendre comment des algorithmes complexes exploitant d’innombrables points de données personnelles décident du moment où afficher une publicité
- Le malaise suscité par la publicité sur smartphone vient moins d’une simple écoute que d’un suivi de données complexe et opaque
1 commentaires
Avis sur Hacker News
Cet article me rappelle un excellent texte satirique de Jonathan Zeller dans McSweeney's : Calm Down—Your Phone Isn’t Listening to Your Conversations. It’s Just Tracking Everything You Type, Every App You Use, Every Website You Visit, and Everywhere You Go in the Physical World
https://www.mcsweeneys.net/articles/calm-down-your-phone-isn...
C’est un peu comme Facebook qui dit « nous ne vendons jamais vos données (nous nous contentons de vous suivre et de vendre de la publicité grâce à ces données) ». J’imagine bien une formule échappatoire du genre : « nous n’écoutons jamais l’audio (nous l’analysons seulement pour améliorer l’assurance qualité) »
Je suis convaincu que mon Toshiba Fire TV écoute toutes les conversations à portée audible, même quand je n’utilise pas la télécommande vocale, et les vend à des réseaux publicitaires. Bien sûr, il fait sans doute aussi la reconnaissance d’écran mentionnée dans l’article original, mais ce dont je parle, c’est de la collecte au micro des conversations en temps réel des personnes dans la pièce
Il y a quelque temps, j’ai révélé que Google collectait des données à grande échelle depuis Twitter, au point qu’en saisissant simplement un handle Twitter dans le champ de recherche de Google Maps, on pouvait afficher les lieux où Twitter avait été utilisé
Même lorsque le partage de position était désactivé sur Twitter, Google connaissait ces lieux ; cela n’était possible que si Twitter fournissait ces informations à Google en privé. Cette « expérience » a ensuite été arrêtée, mais à cause de cette révélation et de diverses activités, j’ai définitivement perdu mon compte Twitter. Après avoir demandé plusieurs fois sa restauration en expliquant que la suspension permanente était injustifiée, X Support en est venu à envoyer toutes les contestations directement dans la poubelle numérique. Plus rien ne m’étonne désormais
Au moment où j’écris ceci, le titre de la page est « Your phone isn’t secretly listening to you, but the truth is more disturbing », et le titre actuel de ce post est le même
Mais à la lecture, l’article se concentre en réalité presque uniquement sur Facebook. La formulation « votre téléphone ne vous écoute pas en secret » peut prêter à confusion. L’article ne prouve pas que les téléphones n’écoutent pas ; il dit seulement que certaines entreprises ne le font peut-être pas. En pratique, un téléphone peut tout à fait être en train d’écouter. Il existe beaucoup de malwares/spywares qui exploitent des vulnérabilités pour le faire, avec des exemples comme NSO Group. Au-delà des outils qu’on peut acheter sur le marché public, il faut supposer que le Mossad, la NSA et les grands services de renseignement disposent d’outils encore plus puissants. Votre téléphone peut tout à fait être en train de vous écouter, dans l’absolu, mais ce n’est probablement pas le cas
https://www.bloomberg.com/news/features/2023-01-24/nso-group...
https://www.britannica.com/topic/Pegasus-spyware
https://citizenlab.ca/2016/08/million-dollar-dissident-iphon...
https://newatlas.com/computers/smartphone-listening-conversa...
https://www.bloomberg.com/news/features/2023-01-24/nso-group...
Cela dit, dans une telle situation, ce serait sans doute l’un des petits éléments de votre liste de préoccupations
Pour information, les TV « intelligentes » envoient aussi des captures d’écran
[0] https://dl.acm.org/doi/10.1145/3646547.3689013
Il y est dit que « l’app prenait automatiquement des captures de son propre écran et les envoyait à des tiers, et que dans un cas elle enregistrait une vidéo de l’activité à l’écran pour l’envoyer à un tiers », et que, sur plus de 17 000 apps Android, plus de 9 000 avaient une autorisation potentielle de prendre des captures d’écran. De quelle autorisation s’agit-il, et comment détecter et empêcher quelles apps font ce genre de choses ?
Ce dont parle l’article semble être le cas où une app prend une capture de sa propre fenêtre. C’est évidemment possible et ne nécessite aucune autorisation. Il suffit de créer un bitmap de la taille de l’écran et d’appeler
getWindow().getDecorView().draw(new Canvas(bitmap));. Il est plausible que les nombreux SDK tiers de pub/marketing/tracking intégrés dans beaucoup d’apps puissent faire ce genre de choses.Cela dit, ils ont effectué une analyse statique sur 9 100 apps parmi 17 260 pour déterminer notamment si « les API média étaient effectivement référencées dans le code de l’app », puis une analyse dynamique pour vérifier si l’app appelait réellement ces API. Autrement dit, ils ont distingué les cas où une bibliothèque était seulement liée de ceux où l’app l’appelait effectivement. Le résumé de l’article est mauvais. Il ne faudrait pas dire « avaient une autorisation potentielle de prendre des captures d’écran », mais « avaient la capacité potentielle de prendre des captures d’écran ».
C’est plus probablement une combinaison de plusieurs autorisations, comme l’accès réseau et la capacité à capturer l’écran sans que ce soit clairement visible pour l’utilisateur.
C’est très utile pour corriger des bugs, mais le risque d’abus ou d’utilisation hostile aux utilisateurs est aussi très élevé.
Les gens semblent ignorer le coût et la précision quand ils affirment que les téléphones écoutent 24 h/24. Au moins avec les contraintes actuelles, il est très peu probable que cela se produise.
La transcription audio n’est pas gratuite et coûte cher en calcul. Les réseaux publicitaires ou les grands services auraient du mal à l’assumer, surtout dans des organisations attentives à l’économie unitaire. La précision serait aussi médiocre. La plupart des téléphones sont dans des poches et ne capteraient presque rien. De plus, les conversations ordinaires contiennent rarement des éléments précieux pour les annonceurs, alors que Google imprime de l’argent grâce aux recherches exprimant une intention d’achat. Le rapport signal/bruit d’une conversation courante est bien plus faible, ce qui dégrade encore l’économie unitaire. Et si cela arrivait, ce ne serait pas difficile à remarquer. Le téléphone chaufferait, la batterie se viderait vite et il consommerait beaucoup de données. Sur iOS, l’indicateur d’utilisation du micro est visible, et si une app consomme trop de ressources en arrière-plan, l’OS risque de la tuer. Tant qu’aucun cas réel n’a été découvert, cela ne vaut pas la peine de s’en inquiéter.
Un appareil capable de faire tourner localement un modèle de transcription et de n’envoyer que le texte obtenu, pour lequel une consommation électrique notable et un accès Internet à des moments arbitraires semblent naturels : par exemple une smart TV.
Construire un nuage de mots est trivial et l’impact sur la batterie serait minimal.
Et si seuls les audios de cibles « à forte valeur », c’est-à-dire de personnes qui achètent beaucoup, étaient enregistrés ? Cela pourrait ne valoir le coup que pour elles, ce qui expliquerait que des tests aléatoires réalisés avec des téléphones généralement neufs et propres ne détectent aucun événement d’enregistrement.
Ce n’était pas un téléphone mais une TV, mais hier YouTube a au moins eu un comportement assez suspect.
D’abord, il était assez clair que, même avec l’historique de visionnage désactivé, il utilise dans les recommandations l’historique d’autres comptes accédant depuis la même IP. Sans historique, les recommandations de l’accueil sont désactivées, mais quand j’ai lancé une recherche, des vidéos totalement sans rapport de chaînes d’escalade que ma femme avait regardées sur un autre compte sont apparues. Je n’ai jamais regardé de contenu d’escalade avec ce compte. Le deuxième point relevait plutôt de l’hypothèse « ça écoute ». J’ai montré à l’exterminateur venu pour le traitement trimestriel une cicatrice que je m’étais faite fin l’an dernier en tombant alors que je descendais en skateboard une pente que je ne maîtrisais pas, et on en a parlé. Moins de cinq minutes plus tard, j’ai allumé la TV et ouvert YouTube : la première recommandation sur le compte de ma femme était une vidéo de chute en longboard à 50 miles/h. Ce n’est un secret pour personne que nous faisons tous les deux du skate et que ce compte regarde beaucoup de vidéos de descente, mais je n’avais jamais cherché, regardé ni reçu en recommandation de vidéos d’accident ; pourtant, elle a été recommandée cinq minutes après qu’on en a parlé devant cette TV.
N’importe quoi. J’ai fait une expérience simple qui a fonctionné, et qui fonctionne encore.
À une époque, sur YouTube au Royaume-Uni, les pubs pour l’extraction de cérumen étaient vraiment horriblement nombreuses. Pour tester, et aussi pour plaisanter, j’ai dit à deux amis proches à quel point ces pubs étaient dégoûtantes et coupaient l’appétit, puis j’ai volontairement répété à voix haute plusieurs fois « ear wax removal ». Comme prévu, le lendemain, un ami m’a envoyé un message du genre « je te déteste vraiment ». Les téléphones de mes amis étaient sous Android et iOS, et il me semble que la victime était l’utilisateur Android.
Les logiciels publicitaires qui tournent sur les téléphones ont des millions de façons de relier des profils et de transmettre l’« infection » à un ami. L’accès basique à la localisation est le principal, mais la même adresse IP (le Wi-Fi de l’ami ?), la proximité des mêmes balises Bluetooth, les mêmes SSID enregistrés, ou simplement le fait que l’ami ait vu par hasard une pub ciblée sur une large population sont des explications beaucoup plus plausibles que « le téléphone écoute 24 h/24 ».
Vous ne voyez pas les biais et les erreurs dans votre propre commentaire ?
La première semaine d’une campagne de quatre semaines, tout le monde l’a ignorée, mais vers la quatrième semaine vous l’aviez tellement vue qu’elle s’était incrustée dans votre tête.
Ce ne sont même pas des humains qui établissent les corrélations. De la même manière qu’un transformer peut apprendre l’essentiel des connaissances humaines uniquement par prédiction de tokens, il ne serait pas surprenant que les systèmes de machine learning destinés à la diffusion publicitaire aient appris des choses sur les gens avec un niveau de détail comparable.
Il y a une dizaine d’années, l’état de l’art consistait à prédire le taux de clics avec quatre 9 de précision à partir du contexte disponible — profil utilisateur, site web courant, mots-clés, etc. — ce que j’interprétais comme nécessitant un modèle d’apprentissage assez précis du comportement humain. J’ai quitté le secteur, donc je ne sais pas où en est l’état de l’art actuel de l’ad tech, mais il a sûrement progressé. Le modèle était entraîné sur des données labellisées automatiquement à partir des taux de clics réels récents (à l’échelle de Go par seconde), et le volume de données d’entraînement était à peu près comparable à celui d’un petit grand modèle de langage. Anecdote récente : trois personnes étaient assises à table avec leurs téléphones posés devant elles et parlaient d’un sujet rare concernant un oiseau ; peu après, ce sujet est apparu dans le flux de publicités Facebook de l’une d’elles. Parmi les explications possibles : de nombreuses apps intègrent quantité de bibliothèques tierces de collecte de données et de publicité, et n’importe laquelle d’entre elles pourrait collecter et revendre suffisamment de données contextuelles pour établir la corrélation ; ou bien d’autres amis avaient récemment parlé de ce sujet, et les liens du graphe social ont permis d’inférer que nous en aurions connaissance. Une troisième possibilité, plus lointaine, est que les modèles soient devenus assez bons pour déduire la parole à partir de canaux auxiliaires étranges, comme l’accéléromètre, par exemple lorsque les gens gesticulent en parlant. La fréquence d’échantillonnage des accéléromètres est inférieure à 1 kHz mais supérieure à 100 Hz ; en y jetant un modèle géant, cela pourrait suffire.
Si le taux de clics pour 1 000 000 d’impressions publicitaires est de 24,5898 % et que le machine learning prédit 25,1926 %, ça fait combien de 9 de précision ?
Dans une ancienne boîte, nous développions un SDK mobile assez populaire que les développeurs d’apps intégraient dans leurs applications.
Une entreprise nous a contactés en affirmant disposer d’une technologie de reconnaissance audio, développée au MIT ou peut-être chez Bell Labs, semblable à Shazam mais plusieurs ordres de grandeur plus efficace. Elle disait que c’était destiné au tracking, pour reconnaître et enregistrer si un utilisateur avait été exposé à une publicité TV ou radio, et nous proposait un partage de revenus en échange de l’intégration discrète de leur SDK dans le nôtre. C’était il y a au moins dix ans, avant qu’Apple n’impose l’autorisation d’accès au micro et l’indicateur orange, donc je ne me souviens plus du nom. Nous avons évidemment refusé, donc je n’en sais pas plus et je n’ai pas testé la véracité de leurs affirmations, mais il existe vraiment des entreprises très douteuses. Les smartphones modernes sont suffisamment puissants pour traiter l’audio sur l’appareil ; l’argument selon lequel cela se verrait dans le trafic réseau ne tient donc pas.
https://www.pcworld.com/article/424417/ad-tracking-tech-uses...