Pourquoi il faut penser l’IA et le chiffrement de bout en bout ensemble
(blog.cryptographyengineering.com)- À mesure que des assistants et agents IA s’immiscent au cœur des données personnelles comme les messages, photos et appels, les garanties de confidentialité assurées jusqu’ici par le chiffrement de bout en bout commencent à subir une nouvelle pression
- Le chiffrement de bout en bout empêche les serveurs de voir le texte en clair pendant la transmission, mais il n’empêche pas l’usage des données une fois qu’un appareil destinataire ou un utilisateur les a transmises à un serveur de traitement IA
- Plus il est difficile d’exécuter de puissants modèles d’IA sur un téléphone, plus des fonctions comme le résumé de messages, la détection d’appels frauduleux ou l’aide à la rédaction risquent de dépendre d’un traitement hors appareil
- Le Private Cloud Compute d’Apple cherche à réduire les risques de l’inférence dans le cloud grâce à du matériel de confiance, Secure Boot, la signature de code, des journaux de transparence et une architecture sans état, mais cela ne constitue pas une garantie cryptographique mathématique
- Si des agents IA généralistes peuvent lire des données personnelles et y répondre, la question centrale se déplace de l’exécution locale vers qui peut accéder à l’agent
L’IA relance le débat sur le chiffrement de bout en bout
- L’article de chercheurs de la NYU et de Cornell, How to think about end-to-end encryption and AI, aborde de front les questions posées à l’intersection de l’IA et du chiffrement de bout en bout
- Des systèmes d’assistants IA comme la protection contre les appels frauduleux de Google ou Apple Intelligence cherchent à s’insérer dans l’ensemble du téléphone, en particulier dans les messages privés
- En Europe, le débat sur le « mandatory content scanning » pourrait imposer à des systèmes de machine learning de scanner presque tous les messages privés, ce qui rend encore plus visible l’impact de l’IA sur la vie privée
- Même si le point de départ diffère, ces deux dynamiques convergent vers le même conflit
- Les fonctions d’IA veulent traiter des données personnelles
- Le chiffrement de bout en bout cherche à empêcher les serveurs de voir ces données
- Un traitement IA puissant peut nécessiter des ressources serveur
Le problème que le chiffrement de bout en bout résolvait à l’origine
- Avant 2011, de nombreux appareils connectés au cloud téléversaient les données en clair, exposant les données personnelles aux hackers, aux assignations civiles, aux mandats gouvernementaux et à l’exploitation commerciale par les plateformes
- À moins d’être un utilisateur avancé utilisant des outils comme PGP ou OTR, il était difficile pour l’utilisateur moyen d’éviter ces risques
- Autour de 2011, des applications de messagerie comme Signal, Apple iMessage et WhatsApp ont commencé à adopter par défaut le chiffrement de bout en bout
- En modifiant la gestion des clés pour que les serveurs ne puissent pas voir le contenu des messages en clair
- Ensuite, des éditeurs d’OS mobiles comme Google, Samsung et Apple ont commencé à chiffrer les données stockées localement ; Google a introduit le chiffrement de bout en bout par défaut pour les sauvegardes de téléphone, puis Apple a commencé à suivre
- Le point commun de ces projets est que les données chiffrées n’avaient pratiquement pas besoin d’être traitées côté serveur
Les options entre traitement serveur et traitement on-device
- Le chiffrement de bout en bout masque le contenu aux serveurs, mais rend aussi difficile tout calcul serveur sur ces données
- Pour des éléments comme les sauvegardes cloud ou les messages privés, qui n’ont surtout de sens que pour le client, cette contrainte peut être relativement acceptable
- Pour des fonctions nécessitant un traitement des données, comme la reconnaissance de texte dans des photos, deux options apparaissent généralement
- Envoyer les données en clair au serveur, en rouvrant les vulnérabilités que le chiffrement de bout en bout cherchait à réduire
- Se limiter aux traitements réalisables sur l’appareil
- La seconde option dépend de la puissance de calcul du téléphone, de la RAM, de la batterie et des différences de matériel
- Même des iPhone haut de gamme peuvent traiter des photos la nuit pendant la recharge afin d’éviter de vider la batterie
- Certains smartphones flagship coûtent plus de 1 400 dollars et embarquent un GPU et un moteur neuronal
- Même aux États-Unis, on peut acheter des téléphones Android à quelques centaines de dollars, voire moins, d’où de grands écarts de capacité de traitement
Les fonctions IA étendent le traitement des données personnelles
- Les LLM peuvent générer et comprendre des textes humains complexes, et les modèles de traitement d’image offrent eux aussi des capacités puissantes
- Les fabricants de téléphones et les entreprises de messagerie voient les modèles d’IA comme la base de futures fonctions, et plusieurs sont déjà déployées
- Les agents IA vont plus loin encore : on les imagine lire et rédiger des e-mails et des SMS, commander des repas, faire du shopping, gérer des profils de rencontre, négocier des prêts ou anticiper les besoins de l’utilisateur
- Pour fonctionner, ces systèmes ont besoin d’un accès presque illimité aux données personnelles et d’une importante capacité de calcul pour les traiter
- Beaucoup de téléphones n’ont pas la puissance nécessaire pour exécuter des modèles avancés, et plus les modèles s’améliorent ou se privatisent, plus une grande partie du traitement risque de basculer vers des serveurs distants
Garanties et consentement dans la messagerie chiffrée de bout en bout
- La garantie technique des systèmes modernes de messagerie chiffrée de bout en bout consiste à faire en sorte que le contenu des messages en clair, pendant la transmission, n’existe nulle part ailleurs que sur les appareils finaux des participants et chez les entités avec lesquelles les participants ou leurs appareils choisissent de le partager
- Cette garantie ne dit rien de l’usage des données après leur remise
- Si un utilisateur fait une capture d’écran, crée une sauvegarde en clair, copie-colle le contenu sur Twitter ou remet son appareil dans le cadre d’un contentieux, cela sort du périmètre du chiffrement de bout en bout
- Les promesses faites aux utilisateurs par un fournisseur de service peuvent différer des garanties techniques
- Par exemple, les messages peuvent être transmis en sécurité, mais l’appareil peut téléverser leur contenu en clair vers d’autres serveurs où il devient déchiffrable
- Dans une conversation de groupe, un autre participant peut aussi activer une fonction qui téléverse au service les messages en clair qu’il a reçus
- En fin de compte, la question clé est celle d’un consentement réellement éclairé
- Certaines entreprises peuvent bien informer les utilisateurs pour gagner leur confiance
- D’autres peuvent se contenter, aux États-Unis, de faire accepter des conditions d’utilisation illisibles ou, dans l’UE, de créer une nouvelle forme de bannière type cookie
- Si le traitement par IA devient complètement généralisé, les possibilités d’opt-in ou d’opt-out des utilisateurs pourraient se réduire
L’approche d’Apple avec Private Cloud Compute
- Apple anticipe que l’inférence de machine learning devra parfois être externalisée vers un matériel plus puissant, et a conçu des ordinateurs cloud censés pouvoir recevoir des données personnelles en confiance
- Private Cloud Compute s’appuie sur des équipements de matériel de confiance dans les data centers d’Apple
- Ces équipements se rapprochent d’ordinateurs verrouillés physiquement et logiquement
- Apple utilise du matériel qu’elle conçoit elle-même, du silicium personnalisé et des fonctions logicielles dédiées
- Secure Boot garantit que seul un OS autorisé peut être chargé
- L’OS vérifie via la signature de code que seules les images logicielles autorisées peuvent être exécutées
- Aucun état de long terme n’est conservé
- À chaque connexion, les requêtes sont réparties par load balancing vers un serveur aléatoire différent
- Le système atteste du hash du logiciel applicatif en cours d’exécution
- Les images logicielles doivent figurer dans un transparency log vérifiable afin d’empêcher tout ajout furtif
- Apple a indiqué qu’elle publierait les images logicielles pour permettre aux chercheurs en sécurité de vérifier les bugs, mais pas l’intégralité du code source
- Cette architecture vise à rendre difficile l’exfiltration de données depuis l’équipement, aussi bien pour des attaquants que pour des employés d’Apple
- Cette approche reste toutefois une garantie plus faible que le chiffrement
- Elle centralise beaucoup de données de valeur
- Elle dépend d’une bonne mise en œuvre par Apple de mécanismes de sécurité matériels et logiciels complexes, plutôt que des mathématiques d’un algorithme cryptographique
- Elle est jugée meilleure qu’un traitement sur des serveurs où des employés pourraient se connecter et accéder aux données, comme cela semble pouvoir être le cas chez OpenAI
Le FHE et ses limites actuelles
- Le chiffrement homomorphe complet (FHE) permettrait d’effectuer des calculs sur des données personnelles tout en les gardant chiffrées
- C’est théoriquement possible, mais peu probable que ce soit pratique aujourd’hui
- Les bonnes approches FHE actuelles sont surtout adaptées à l’évaluation de très petits modèles de machine learning, des modèles qui restent déjà exécutables sur des appareils clients modestes
- Les méthodes et le matériel progresseront, mais cette barrière devrait persister longtemps
Pour qui travaillent les agents IA ?
- Les données utilisées à l’avenir pour l’entraînement et le fine-tuning des modèles d’IA poseront aussi d’importants problèmes de vie privée, mais une question encore plus fondamentale est de savoir pour qui travaille réellement un agent généraliste
- Le Royaume-Uni et l’UE ont discuté de lois imposant le « scan » automatique des messages personnels chiffrés
- La proposition européenne se concentre sur la détection de contenus CSAM connus et nouveaux
- À certaines étapes, elle incluait aussi la détection de conversations vocales ou textuelles considérées comme du « grooming behavior »
- La proposition britannique couvrait un champ plus large incluant discours haineux, contenus terroristes, fraude et autres contenus illicites
- Un amendement allait jusqu’à inclure les « images of immigrants crossing the Channel in small boats »
- Pour scanner du CSAM connu, l’IA/ML n’est pas forcément indispensable, mais la détection de nouveaux CSAM, de comportements de grooming ou de discours haineux exige une inférence de machine learning puissante sur des données privées
- La détection de conversations vocales ou textuelles, en particulier, suppose non seulement de convertir la voix en texte, mais aussi de comprendre le sujet d’une conversation humaine sans faux positifs
- Ces propositions n’ont pas encore été mises en œuvre, notamment parce qu’il est difficile de construire des systèmes de ML capables de traiter des données privées en sécurité et parce que les plateformes y ont résisté
La pression que pourraient créer des agents personnels généralistes
- Si les utilisateurs créent et déploient volontairement des agents IA généralistes, ceux-ci pourraient devenir une ressource capable d’effectuer nombre des tâches de scan que réclament les forces de l’ordre
- La question de savoir comment empêcher des gouvernements d’exiger l’accès à cette ressource restera difficile
- Les autorités pourraient poser à l’agent des questions sophistiquées sur le comportement et les données d’un utilisateur
- « Cet utilisateur possède-t-il potentiellement du CSAM ? »
- « A-t-il écrit dans ses notes personnelles quelque chose qui pourrait relever du discours haineux ? »
- « Est-il susceptible de frauder le fisc ? »
- Cette approche pourrait être présentée comme « respectueuse de la vie privée », au motif qu’aucun policier humain ne fouille directement les documents et que des réponses ne sont obtenues que lorsqu’un utilisateur a probablement commis un acte illégal
- Une fois qu’un agent généraliste suffisamment puissant est déployé sur un téléphone, la question décisive n’est plus de savoir si le modèle tourne en local ou sur du matériel cloud de confiance, mais bien qui peut dialoguer avec cet agent
1 commentaires
Commentaires sur Hacker News
Plus la détection automatique progresse, plus le budget alloué aux personnes chargées de traiter les cas individuels diminue, et plus les responsables s’appuient sur les décisions automatisées
Résultat, quand il y a un faux positif, il devient difficile de contacter un humain pour régler le problème, ce qui mène à une énorme frustration. Dans les services d’entreprise, c’est juste agaçant, mais si c’est utilisé par les forces de l’ordre, cela peut ruiner une vie
J’ai déjà été signalé chez Amazon pour des avis illégaux et j’ai essayé pendant des mois de l’expliquer à quelqu’un ; encore aujourd’hui, je ressouligne le problème environ une fois par an, sans qu’il soit résolu. Si ce genre de chose arrive dans des affaires criminelles graves et que les tribunaux sont engorgés pendant des années, c’est catastrophique
La détection automatique peut fonctionner et elle est pratiquement inévitable, mais il faut partir du principe que des faux positifs se produiront forcément et affecter suffisamment de personnel pour les résoudre. Aujourd’hui, dès qu’on met en place un système de détection, on licencie l’équipe en charge en supposant que le système remplace les humains, alors qu’en réalité il devrait être un outil pour les renforcer et mieux concentrer leur travail
Les décideurs ne traitent pas eux-mêmes les cas réels, donc ils ne subissent pas directement le problème. Pour eux, c’est simplement : « si on peut économiser 1 million de dollars, pourquoi ne pas en économiser 2 ? », et avec les grands modèles d’IA qui rendent la détection automatique plus facile, je pense que la situation va empirer bien davantage dans les années à venir
En Russie, un scientifique est devenu suspect dans une affaire de meurtre vieille de 20 ans uniquement sur la base d’une correspondance faciale à 70 % et de la fausse désignation par le criminel d’un complice. https://lenta.ru/articles/2024/04/03/scientist/
Heureusement, les archives de son institut prouvaient qu’il participait à une expédition loin de Moscou à l’époque, ce qui a servi d’alibi, mais il a tout de même été détenu 10 mois pendant « l’enquête ». Il a fini par être libéré, mais je m’inquiète à l’idée que les enquêteurs de police qui ont utilisé un résultat de reconnaissance faciale aussi faible pour améliorer leurs statistiques soient peut-être encore en poste
Si l’on extrapole à un monde où chaque aspect de la vie est contrôlé par des monopoles de plateforme sans même un support client de base, on a l’impression que la situation va empirer bien avant de s’améliorer
On peut la lire à la troisième page du PDF, numérotée 84 : https://nob.cs.ucdavis.edu/classes/ecs153-2021-02/handouts/c...
Il est frappant de voir que quelqu’un avait prédit cette situation avec autant de précision il y a 60 ans, et que cet avertissement n’a pourtant pas été pris au sérieux
Il n’est même pas nécessaire de spéculer au sujet d’OpenAI. OpenAI indique assez clairement qu’il conserve les données pendant 30 jours et qu’elles peuvent être examinées par des employés et des prestataires tiers
https://platform.openai.com/docs/models/how-we-use-your-data
« Afin d’aider à identifier les abus, les données API peuvent être conservées jusqu’à 30 jours, puis supprimées (sauf obligation légale contraire). »
https://openai.com/enterprise-privacy/
Il est indiqué que l’accès aux données métier de l’API est limité aux employés autorisés qui en ont besoin pour le support technique, les enquêtes sur les abus de la plateforme et la conformité légale, ainsi qu’à des prestataires tiers spécialisés soumis à des obligations de confidentialité et de sécurité, uniquement pour examiner les abus et usages détournés
Ils sont littéralement en train de « converser » avec les serveurs d’une entreprise qui a construit sa gamme de produits à partir de productions professionnelles et personnelles d’autrui, utilisées avec ou sans consentement, et souvent même à l’insu des intéressés. Ce n’est pas tant « il vaut mieux demander pardon que permission », c’est plutôt ne rien demander du tout, noyer le poisson quand on pose la question, puis, quand on se fait prendre, prétendre que puisque ce n’était pas caché, cela valait consentement implicite, même si personne n’avait moyen de savoir qu’on observait
Honnêtement, même le niveau de garanties promis par OpenAI dans sa politique de confidentialité est étonnant. Quand on voit les soupçons de tactiques douteuses — changer discrètement de modèle après la première phase de communication « wow, incroyable », ou réduire les ressources de calcul allouées aux clients payants — il semble peu probable que ces politiques durent longtemps une fois l’entreprise en position plus solide
Et s’il devient possible d’extraire les données d’entraînement du modèle, ils pourraient aussi dire que « comme il s’agit d’autres données extraites du modèle, l’ancienne politique ne s’applique plus ». Si OpenAI se retrouve distancé sur le marché, il est difficile d’imaginer qu’Altman ne vendrait pas ce genre de chose en un instant pour financer un gros pari produit. Sans même parler des chatbots de type application de partenaire amoureux douteuse
La protection de la vie privée devrait évidemment aller de soi, mais ce qui me surprend, c’est qu’il y ait des gens qui partent du principe qu’elle existera. Même quand je me demande si je ne suis pas trop cynique, j’en arrive ces temps-ci à la conclusion que je ne l’étais finalement pas assez
La vraie menace apparaîtra quand l’IA cessera seulement d’accélérer le travail individuel pour être appliquée au contrôle organisationnel
Tout le monde connaît les limites des managers, des strates de management, des métriques et des OKR, donc la tentation est forte. Il n’est pas difficile d’imaginer un CEO voulant verser toutes les communications entre employés dans une IA pour pouvoir les interroger. Ironiquement, si tout le monde est en télétravail, c’est encore plus facile à imposer
Il est possible que cela rende l’organisation plus efficace, en permettant au CEO et au sommet de mieux comprendre ce qui se passe réellement. Mais la croyance déjà fragile des détenteurs du pouvoir selon laquelle les employés ordinaires sont de véritables êtres humains s’en trouvera encore affaiblie
Et comme la couche dirigeante estimera qu’il n’y a aucune raison de ne pas utiliser, pour gouverner un pays, les outils qu’elle emploie pour gérer une entreprise, ce type de pratique finira inévitablement par déborder du cadre des organisations privées
Les partisans de la surveillance de masse disent désormais qu’il n’est plus nécessaire qu’un humain décroche lui-même le téléphone. Mais le vrai danger n’a jamais été quelqu’un en costume terne retranscrivant une conversation à partir d’une bande magnétique. Le problème a toujours été qu’un détenteur du pouvoir exige le dossier d’une personne gênante et l’examine dans le but de l’empêcher de le déranger à nouveau
Si toutes les conséquences de la surveillance de masse ne se sont pas encore pleinement manifestées, c’est parce qu’il n’existait pas de moyen de traiter autant de données temporaires non structurées. Désormais, il y en a un
Lorsqu’une procédure judiciaire exige une discovery, un logiciel d’e-discovery peut aspirer toutes les communications numériques auxquelles il a accès, les injecter dans une IA et, dans certains cas, effectuer même une analyse de sentiment. L’application de l’IA générative au travail juridique est actuellement un sujet brûlant dans le monde du droit
La direction prise ressemble à XKEYSCORE sous stéroïdes, ce qui me fait plutôt pencher vers un non à la question : « est-ce que cela fonctionnera pour nous ? »
J’aimerais avoir une vision positive et optimiste, mais quand on regarde la trajectoire que nous avons suivie et les personnes responsables de ces systèmes — plus précisément les dirigeants, pas les chercheurs ni les ingénieurs — l’espoir d’un futur neutre et centré sur la vie privée paraît limité
Ils portent des costumes, mais ont généralement un passé militaire, un sens du devoir consistant à défendre les États-Unis contre les menaces intérieures et extérieures, et, historiquement, n’ont pas gravement abusé de leurs pouvoirs, quel que soit le gouvernement. XKEYSCORE non plus ne piratait pas les gens ; il collectait et profilait des métadonnées de masse, et cela se faisait dans le cadre légal. Les reproches devraient aussi viser les entreprises qui n’ont pas fourni d’outils de protection de la vie privée. N’importe quel grand État aurait pu construire le même système
En revanche, après 2016, les républicains anti-establishment qui critiquaient la big tech sont finalement devenus ses fans les plus pro-establishment, Elmo a obtenu un bureau à la Maison-Blanche et Zucc s’est agenouillé pour éviter des poursuites
Comme ces nouveaux systèmes recevront bien davantage de la part des entreprises privées, je préfère encore qu’ils soient confiés à des gens brillants qui travaillent dans l’appareil de défense américain par sens du devoir
Les entreprises ont presque épuisé les données d’Internet exploitables pour l’entraînement de l’IA ; elles vont donc probablement chercher à accéder aux données personnelles en temps réel sous prétexte d’agents. Comme toujours, le modèle économique reste : « c’est vous, le produit »
Apple semble avoir récemment changé de position. L’entreprise dit désormais que le code source de certains composants de sécurité essentiels de PCC est disponible sous une licence d’usage restreint. Bien sûr, il aurait été préférable que l’ensemble soit open source
https://github.com/apple/security-pcc/
Apple semble aller plus loin dans ses affirmations : 1) les données utilisateur ne sont pas conservées et ne sont traitées que pendant l’inférence, 2) il n’existe pas d’accès runtime privilégié, si bien que même les ingénieurs du support ne peuvent pas voir les données utilisateur, et 3) des binaires et une partie du code source sont fournis afin que des chercheurs en sécurité puissent vérifier 1) et 2)
Les cinq exigences d’Apple PCC sont consultables ici : https://security.apple.com/documentation/private-cloud-compu...
Je n’ai aucun lien avec Apple. J’ai lu le guide de sécurité de PCC pour voir à quoi pourrait ressembler une solution équivalente dans l’open source. Si le sujet vous intéresse, contactez ozgun @ ubicloud . com
La bonne question est bien : « pour qui les agents IA travaillent-ils réellement ? » Il y a quelques semaines, je faisais déjà la même remarque : la notion juridique de mandant et mandataire s’applique ici
Une réalité où tout le contenu passe par une IA cloud pour être inspecté à la recherche de « crimes de pensée » est en train d’arriver. Les catégories actuellement proposées incluent les contenus pédopornographiques, les menaces visant des personnalités importantes, les menaces contre le gouvernement, le « grooming » de mineurs, les discussions sur la drogue, le sexe, les armes à feu, les activités homosexuelles, ainsi que l’organisation de manifestations ou de syndicats
Les contenus pédopornographiques, en particulier, sont devenus aux États-Unis une catégorie étendue qui inclut même les images générées par IA, et pourraient bientôt s’étendre aussi à l’animation japonaise. Les menaces visant des personnalités importantes pourraient aussi, aux États-Unis, être élargies jusqu’à inclure des propos autrefois considérés comme politiques
Les menaces contre le gouvernement sont déjà illégales dans de nombreux pays. Il faut se souvenir que Trump aime accuser les gens de « trahison » pour des choses sans rapport avec le fait de faire la guerre aux États-Unis
Le « grooming » est extrêmement vague et peut couvrir la plupart des interactions, tandis que les discussions sur la drogue, le sexe, les armes à feu et les activités homosexuelles sont interdites de diverses manières selon les pays. L’organisation de manifestations ou de syndicats est interdite en Chine et fait déjà l’objet de recherches
Il ne sera pas possible d’échapper à la censure par des formulations détournées ou de l’argot. Les grands modèles de langage savent aussi traiter cela. Essayez de leur donner de l’anglais vernaculaire afro-américain ou du leetspeak en demandant une traduction en anglais standard : ils y arrivent. Le modèle a probablement vu davantage de ces dialectes que la plupart des gens
« Si vous voulez une image du futur, imaginez une botte piétinant un visage humain — pour toujours. » — Orwell
https://www.orwell.org/dictionary/
Le point essentiel mérite d’être répété
Cela pourrait aller jusqu’à l’état souhaité du type : « une femme portant un pantalon, c’est du travestissement, et si cela se produit en présence d’enfants, c’est un crime grave »
La prise de conscience la plus déprimante, c’est que l’énorme masse de données stockées dans le cloud en pensant que même des activités criminelles n’y seraient pas scannées est désormais devenue une voie par laquelle la police de la pensée peut venir vous chercher pour une simple opinion dissidente
Le propriétaire de cette machine est un tiers, et ses intérêts, qu’ils soient commerciaux ou idéologiques, passent donc toujours en premier
Espérons que cela n’arrive pas, mais ce ne serait pas surprenant si c’était le cas. Les anciennes données peuvent devenir des déchets particulièrement toxiques
Heureusement, les données stockées et chiffrées sur un appareil local restent inaccessibles aux outils d’« IA » basés sur le cloud
Le problème, c’est que l’utilisateur moyen clique machinalement sur « Oui / Accepter / Continuer / Poursuivre / Consentir » dans une fenêtre GUI, et accepte ainsi des conditions qui incluent le déchiffrement des données et leur envoi vers un service « cloud »
À l’avenir, les outils d’« IA » serviront probablement davantage à enfermer durablement les gens dans des services par abonnement mensuel comme iCloud, Office365 personnel de Microsoft ou Google Workspace
On finit par payer 15 dollars par mois pour toujours, sans moyen réaliste d’arrêter sans perturbation majeure dans sa vie, à cause du volume de données et de la dépendance au fournisseur cloud
Green a pointé quelque chose d’important. Une garantie technique n’est pas la même chose qu’une promesse faite à l’utilisateur, et un système de messagerie chiffré de bout en bout ne fait que transporter les données de manière sûre sans déterminer ce qui leur arrive ensuite
Pourtant, il semble l’oublier aussitôt en parlant de PCC comme si ce n’était pas simplement une autre garantie technique. PCC ne fait qu’augmenter la confiance dans le fait que le logiciel exécuté sur le serveur est bien celui qu’Apple avait prévu
Cela ne garantit ni l’endroit où mes données seront envoyées ensuite, ni qu’Apple ne les utilisera qu’à des fins auxquelles j’accepterais de consentir. PCC rend Apple moins vulnérable au piratage, mais pas plus transparent ni plus responsable
En tenant compte du fait que certains hackers piratent parfois avec des objectifs socialement utiles, par exemple pour révéler des abus d’entreprise, le renforcement de la sécurité peut aussi servir de bouclier contre toute mise en cause. Cela ne veut évidemment pas dire qu’il faut supprimer la sécurité pour obtenir de la transparence
Le point central non résolu ici, c’est la transparence, plus que la sécurité. On peut même considérer que l’état désastreux de la sécurité a largement été rendu possible par le manque de transparence
Si l’on veut que l’IA serve la société, il faut renverser cette asymétrie extrême de l’information où la vie des individus est entièrement exposée au prestataire de service, tandis que ce prestataire reste une boîte noire totale pour ses utilisateurs
Si l’on veut de bonnes pratiques d’entreprise, on ne peut pas les laisser fonctionner dans l’ombre. Si l’on veut une technologie éthique, on ne peut pas la laisser agir de manière invisible
La question intéressante posée à la fin du texte a une importance politique
Quel que soit le choix technique fait en matière de protection de la vie privée, une fois qu’un agent généraliste suffisamment puissant est déployé sur un téléphone, la question restante est de savoir qui a le droit de dialoguer avec cet agent. Uniquement l’utilisateur, ou bien faut-il faire passer l’intérêt de l’État pour la surveillance des citoyens avant la vie privée individuelle ?
On peut imaginer, sur le plan juridique, une situation où le gouvernement impose par la loi d’avoir un droit d’accès à l’agent. Nous, comme les entreprises, existons dans des juridictions capables de faire passer des lois arbitraires
Mais techniquement, il devrait être possible de faire tourner un agent local sur un système chiffré par chiffrement intégral du disque, sans permettre à quiconque n’ayant pas accès au système d’entrer en conversation avec lui. À ce niveau technique, cela ne semble donc pas si différent d’avant
Faire tourner une montagne d’expressions régulières façon années 1980 pour chercher sur l’ordinateur de quelqu’un s’il y a des pamphlets communistes ou autre, c’était déjà possible auparavant
La question de savoir si le gouvernement doit pouvoir exiger l’accès à mon ordinateur a toujours existé. Mais il faut se rappeler que s’il exige l’accès à l’agent d’IA exécuté sur mon ordinateur, cela revient en pratique à exiger une trace avec perte de l’intégralité de mon disque dur