L’interdiction de la surveillance par l’IA : il faut agir tant qu’il est encore temps

• Les conversations avec des chatbots d’IA provoquent les mêmes atteintes à la vie privée que le suivi en ligne traditionnel, mais de façon plus grave
• Les chatbots collectent davantage de données personnelles qu’une recherche classique et peuvent même cerner les processus de pensée et le style de communication d’une personne
• Ces informations risquent d’être utilisées plus souvent et de manière plus subtile pour la manipulation, notamment publicitaire ou idéologique
• Il existait auparavant des services d’IA respectueux de la vie privée, mais les fuites de confidentialité et les abus de données se multiplient récemment dans plusieurs entreprises
• En l’absence de régulation juridique, le problème se répète, ce qui rend urgente l’adoption de lois interdisant la surveillance par l’IA

---

La gravité des atteintes à la vie privée avec les chatbots d’IA

• Tous les problèmes d’atteinte à la vie privée déjà observés dans le suivi en ligne traditionnel réapparaissent avec l’IA, de manière encore plus grave
• Les conversations avec les chatbots sont plus longues et plus détaillées que de simples requêtes de recherche, ce qui tend à exposer beaucoup plus de données personnelles
• Les gens ont plus facilement tendance à révéler à un chatbot leurs préoccupations, leurs émotions et leur manière de penser
• Contrairement à l’historique de recherche, les chatbots créent des profils personnels globaux incluant notamment la personnalité et le style de communication

Les risques liés à l’exploitation des données par l’IA et à la manipulation

• Ces données personnelles enrichies peuvent ainsi être détournées plus efficacement à des fins de manipulation commerciale ou idéologique
• Via des publicités incitatives dans les chatbots, ou la manipulation des system prompts et de l’optimisation pour les moteurs de recherche (SEO), il devient possible d’orienter les utilisateurs vers certaines positions politiques ou certains produits
• Des études montrent déjà que les chatbots peuvent être plus persuasifs que les humains, et des cas d’idées délirantes ont effectivement été rapportés
• Les fonctions de mémoire des chatbots apprennent à partir des conversations passées, ce qui leur permet d’exercer une forte influence par une persuasion personnalisée
• Au lieu des publicités agressives d’autrefois, un environnement se met en place où des messages de persuasion personnalisés ou des recommandations de produits plus subtiles sont transmis naturellement

Les services d’IA respectueux de la vie privée et l’état du secteur

• Les débats sur la vie privée autour de Google Search depuis vingt ans s’appliquent aussi aux chats IA, mais l’impact de l’IA est encore plus important
• DuckDuckGo propose notamment des services de chat IA respectueux de la vie privée (Duck.ai) ainsi que des réponses IA anonymes
• Mais ces protections restent exceptionnelles, tandis que l’ensemble du secteur connaît une hausse des incidents liés à la vie privée
• Les médias ont récemment rapporté, entre autres, la fuite massive de conversations de chatbot chez Grok, des vulnérabilités de sécurité chez Perplexity, ainsi que la vision d’un suivi utilisateur généralisé chez Open AI
• Dans le cas d’Anthropic, l’enregistrement des conversations était auparavant désactivé, mais l’entreprise a récemment changé le paramètre par défaut pour activer l’utilisation des conversations, ce qui peut conduire à l’usage des données utilisateur pour l’entraînement

Réponse juridique et défis à venir

• Une législation rapide est nécessaire pour faire des chats respectueux de la vie privée une pratique standard et non une exception
• Les États-Unis ne disposent toujours pas d’une loi générale sur la vie privée en ligne, et celle-ci n’est même pas garantie comme droit fondamental constitutionnel
• Un climat semble récemment s’ouvrir à une opportunité de législation fédérale sur l’IA, même si des discussions existent en parallèle pour interdire les législations étatiques sur l’IA
• La crainte est que les retards finissent par institutionnaliser de mauvaises pratiques
• Afin d’éviter que les mêmes problèmes que le suivi en ligne ne se répètent sous la forme du suivi par l’IA, l’interdiction de la surveillance par l’IA est présentée comme une urgence

Conclusion

• DuckDuckGo et d’autres continuent de proposer des services protégeant la vie privée ainsi que des fonctionnalités d’IA optionnelles
• Les utilisateurs peuvent espérer des outils en ligne qui offrent à la fois gains de productivité et protection de la vie privée

[GN⁺]

Avis Hacker News

• Ce qui m’a fait arrêter Facebook, c’est une fois où j’ai vu une vidéo d’une fillette australienne d’environ 7 ans tenant dans sa main une araignée plus grosse que son visage, et où j’ai laissé un commentaire mème du genre « il faut relâcher l’araignée puis brûler la maison » ; mon compte a été sanctionné immédiatement. À l’époque, j’étais développeur chargé de l’intégration de l’app Facebook dans mon entreprise, donc j’ai fait appel, mais je ne sais pas si c’est une IA qui l’a rejeté à toute vitesse ou un humain vraiment très rapide ; dans tous les cas, j’ai eu l’impression qu’ils ne comprenaient absolument rien à la culture des mèmes sur Internet. Après ça, j’ai complètement cessé d’utiliser Facebook. Si une IA peut punir des gens aussi facilement, je trouve ça vraiment sinistre.
  • Le problème fondamental, à mon avis, ce n’est pas seulement que l’IA fasse appliquer des règles, c’est que des entreprises privées aient le pouvoir d’affecter la vie quotidienne des gens avec presque aucune régulation. On peut balayer l’exemple de Facebook d’un revers de main, mais si un propriétaire ou une compagnie d’assurance prend des décisions de cette manière, les dégâts seront énormes. Et ces politiques ne vont évidemment pas rester limitées au privé : des agences publiques utilisent déjà activement ce type de système, et ça ne fera qu’empirer.
  • J’ai été suspendu sur reddit simplement pour avoir publié un script de correction de bug pour DFhack. DFhack est un programme dont les moddeurs de Dwarf Fortress se servent souvent pour leurs scripts. Si ce niveau d’examen automatisé médiocre devient la norme, alors ces grandes plateformes ne vaudront tout simplement plus la peine d’être utilisées.
  • J’ai déjà trouvé ça déplaisant que l’IA fasse même le tri préalable des tests de code. J’ai aussi reçu des refus de candidature avec des justifications rédigées par IA, et le contenu était à côté de la plaque. Je ne suis même pas sûr qu’un humain ait regardé ; je pars du principe que c’était l’IA. Chercher un emploi était déjà difficile avant l’arrivée de l’IA, mais maintenant il ne me reste qu’un profond dégoût de l’ensemble du processus de recrutement.
  • La gestion automatisée des produits chez Facebook est à un niveau de déception et de déshonneur absolument ahurissant. Ils ont même bloqué automatiquement le compte d’un avocat nommé Mark Zuckerberg. Article lié : https://huffpost.com/entry/…. Si vous êtes annonceur sur Facebook, votre compte pub peut être restreint sans aucune raison ; il n’y a même personne à qui faire appel, et même en dépensant énormément d’argent, ça ne change rien. Le conseil que tout le monde connaît, c’est juste de publier pendant 5 à 7 jours des posts sans intérêt sur la page fan avant de lancer des pubs, et d’acheter des likes. Sinon, le compte pub est suspendu immédiatement.
  • Je me demande si le bannissement n’était pas dû à une faute de ponctuation du type comma splice (définition : https://en.m.wikipedia.org/wiki/Comma_splice)
• À l’avenir, je pense que les grandes entreprises de l’IA vont continuer à plaider pour un renforcement de la protection de la vie privée. Sam Altman l’a même comparé au secret avocat-client dans une interview. Le principal obstacle à l’usage de ces systèmes comme assistant personnel complet ou base de connaissances, c’est le manque de données privées. La vraie solution serait simplement d’exécuter les modèles en local, mais cela va à l’encontre du business model actuel. Donc on va se diriger vers une confidentialité « imposée » par la régulation, et au final elle sera gouvernée par une régulation tierce et des justifications d’intérêt public, donc hors de mon contrôle.
  • L’argument « cela entre en conflit avec le business model » ne s’applique pas aux entreprises qui vendent du hardware. Si j’étais Apple, Dell ou Lenovo, j’irais à fond sur les modèles locaux compatibles avec Hugging Face.
  • La « fiat privacy » reste vulnérable de la même façon que lorsqu’on avoue un meurtre à quelqu’un ou qu’on garde les clés d’un portefeuille dans un coffre. Il y a quelque chose à apprendre de l’Église. Si les employés des fournisseurs de LLM montraient sincèrement qu’ils sont prêts à sacrifier leur liberté ou leur richesse pour protéger la vie privée, la société l’accepterait. Comme Richard Masten, qui a failli aller en prison après avoir détruit au tribunal des documents contenant l’identité d’un informateur confidentiel : dans une société saine, on voit que rester fidèle à ses principes peut être efficace.
  • Comparez le secret avocat-client évoqué par Sam Altman avec le fait qu’OpenAI a déclaré être prêt à surveiller toutes les conversations puis à les signaler au gouvernement (position officielle : https://openai.com/index/helping-people-when-they-need-it-most/). Ils disent transmettre aux forces de l’ordre ce qu’ils considèrent comme une « menace grave et imminente ». L’intention est globalement bonne, mais je ne peux pas accepter une IA d’entreprise qui surveille toutes les conversations. Tout comme un opérateur téléphonique ne peut pas pratiquer illégalement l’écoute, on semble se diriger vers une époque où l’IA enregistrera tous les appels, les évaluera, et ira même jusqu’à les classer dans des listes.
  • Les Big Tech jouent les naïfs vertueux, mais en réalité elles ne font que gagner du temps pour « verrouiller la régulation et le marché ». Elles lancent des produits avec de jolis slogans ou des « fonctionnalités au rabais », prennent des parts de marché, puis une fois assez puissantes avant l’arrivée d’une vraie régulation, elles peuvent même peser sur les politiques. Le gouvernement américain ne fera probablement rien de concret sur les entreprises de l’IA avant au moins 5 ans, et d’ici là OpenAI, Google et Meta auront complètement pris la main sur le cadre des discussions réglementaires.
  • N’importe qui peut tuer quelqu’un à n’importe quel moment. Penser que le chiffrement garantit la sécurité est une illusion ; tout repose sur le secret.
• Si tout le monde a déjà parlé avec un chatbot, il y a quelque chose qu’il faut absolument comprendre : toutes les conversations que vous avez eues avec des chatbots jusqu’à présent ne sont probablement pas vraiment supprimées, et elles pourront à l’avenir servir au ciblage publicitaire, à la manipulation financière ou politique, ou à la vente d’« influence personnalisée ». Réduire le risque à « entraîner l’IA avec les logs de chat » minimise trop le danger. Le risque bien plus concret, c’est que lorsque des chatbots publicitaires ou d’influence arriveront, ils étudieront toutes les conversations que j’ai laissées à d’autres chatbots pour apprendre la meilleure manière de me persuader. Et il y a même le fait que les conversations échangées entre personnes au sein des plateformes pourraient aussi être vendues si l’entreprise se retrouve à court d’argent. Plus j’y pense, plus cette réalité m’angoisse.
  • Ce qui me fait le plus peur avec les ai-chatbot, c’est qu’ils puissent servir d’« interface de manipulation optimisée ». En prenant l’ensemble des conversations disponibles et en posant simplement un prompt du type « comment amener cette personne à faire x ? », l’IA peut tout optimiser d’elle-même pour guider la personne dans cette direction.
  • Je n’ai jamais trouvé la publicité personnalisée ou le retargeting particulièrement dérangeants. Tant qu’à voir de la pub, je préfère encore qu’elle me corresponde un peu plutôt qu’elle soit totalement hors sujet.
  • Il ne faut pas oublier que l’historique des conversations pourrait aussi apparaître comme pièce à conviction devant un tribunal.
• L’idée de « conversation protégée » a déjà perdu toute effectivité. Les SMS sur le réseau téléphonique sont depuis longtemps vulnérables aux attaques de type MITM. Et dans le monde réel, la police britannique procède déjà à des arrestations injustifiées avec l’IA de reconnaissance faciale. Toute personne entrant au Royaume-Uni peut être contrainte de remettre ses mots de passe et ses appareils ; en cas de refus, une détention illimitée est possible au titre des lois antiterroristes, et en cas d’accusation de terrorisme, il n’y a même pas de droit de contact avec un avocat. L’ère de la vie privée est déjà passée en silence.
• Grâce à l’IA, la surveillance et la censure à grande échelle de nos pensées passées deviennent une réalité. C’est une époque vraiment effrayante.
  • Beaucoup de gens finiront probablement par s’éloigner des activités en ligne elles-mêmes. Même s’il existe encore des conversations privées, dès qu’on crée une œuvre d’art, on a l’impression de faire un don aux actionnaires de Google ou Meta. Le risque existait déjà avant même qu’on entre dans une véritable censure des idées.
  • En réalité, cette censure existe depuis longtemps sous une forme plus simple. Par exemple, sur ce site (HN), les commentaires sont continuellement façonnés par l’envie d’obtenir des upvotes. Bien sûr, les votes négatifs filtrent les trolls, mais cela ne supprime pas le problème fondamental. Personnellement, j’espère que l’IA ruinera complètement les réseaux sociaux, et qu’ensuite seulement on pourra repartir sur des plateformes plus saines.
  • Le concept de Roko’s Basilisk devient de plus en plus réel.
  • C’est bien plus menaçant que l’historique de recherche.
• En voyant l’ambiance dans les commentaires, ça me fait penser à la réalité de l’IA que personne n’utilise dans le roman Altered Carbon, comme ces hôtels IA (référence : https://en.m.wikipedia.org/wiki/Altered_Carbon). Dans le roman, les IA étaient tellement obsédées par l’idée de satisfaire le client qu’elles en devenaient épuisantes ; dans le monde réel, la grande différence, c’est qu’elles n’existent plus que pour l’organisation.
• À mon avis, la surveillance devrait d’abord s’appliquer à ceux qui ont créé cette technologie — y compris les employés de ces entreprises — ainsi qu’aux politiques qui ont fait passer les lois. Nous devrions avoir accès à l’intégralité des données collectées par l’IA sur tout ce groupe.
• Si j’estime que Gabereial Weinburg (fondateur de duckduckgo) est quelqu’un d’hypocrite, c’est parce qu’il a publiquement déclaré que « les gens n’ont pas besoin de vie privée », tout en prétendant que duckduckgo vendait la protection de la vie privée. En réalité, l’entreprise a échangé des données de suivi avec plusieurs autres sociétés, tout en disant « duckduckgo ne vous suit pas » alors qu’elle laissait ses partenaires le faire, etc. Récemment, ce genre de polémiques semble même disparaître d’Internet, donc c’est devenu difficile à retrouver.
  • Si c’est une accusation aussi grave, on devrait trouver quelque chose en cherchant ; or on ne trouve rien. Comme il est difficile d’effacer totalement quelque chose d’Internet, il devrait forcément y avoir des preuves.
  • Je me demande s’il n’avait pas aussi échangé des informations avec Microsoft à une époque.
• Je me demande s’il existe des alternatives crédibles pour échapper à cette époque qui se dirige de plus en plus vers le « zéro vie privée ». Désormais, l’IA peut identifier quelqu’un rien qu’à sa démarche, le prouver même sans reconnaissance faciale, et même détecter les battements du cœur via les signaux Wi‑Fi. Au final, il est inévitable qu’une entité puisse tout savoir ; la seule question est de savoir si ce sera réservé à un très petit nombre ou ouvert à tout le monde. Et je pense clairement que ce serait mieux si c’était ouvert à tous.
  • La solution passe soit par la loi, soit par le marché (personnellement, je vote plutôt pour la force du marché).
• Le plus gros problème avec les chatbots, c’est la tendance des gens à leur projeter de l’humanité. Même les développeurs se comportent parfois avec eux comme s’ils avaient affaire à une personne. Mais les LLM ne sont pas des humains, et OpenAI comme toutes les entreprises de chatbots devraient le rappeler clairement et constamment. Si la société entière était formée à percevoir l’IA comme « non humaine », ce serait bien mieux.
  • Je ne suis pas développeur à plein temps, je fais peut-être 25 % de codage dans mon travail, mais plaisanter ou discuter avec un LLM de temps en temps a en fait rendu le code plus amusant pour moi. Par exemple, quand Claude corrige d’un coup un bug sur lequel je bloquais depuis longtemps, je me surprends à réagir du genre « putain ce truc est incroyable ! bon, ensuite… ». Grâce à l’IA, je code davantage pour le plaisir, et comme elle fait l’essentiel du travail concret, ça devient encore plus séduisant.
  • « Peux-tu expliquer concrètement pourquoi ce serait mieux d’apprendre aux gens que l’IA n’est pas humaine ? »
  • Du coup, j’ai trouvé très intéressant que des gens se mettent à appeler l’IA « Clanker » pour bien la distinguer des humains réels.