Les dirigeants de Signal avertissent que l’IA agentique est instable, peu fiable et présente de graves risques de surveillance

• Le principal risque identifié est que l’IA agentique intégrée au niveau du système d’exploitation enregistre l’ensemble des activités numériques d’une personne et puisse être exposée à des malwares
• Meredith Whittaker et Udbhav Tiwari de Signal ont déclaré lors du 39e Chaos Communication Congress que ce type d’IA était vulnérable à la fois en matière de sécurité, de fiabilité et de surveillance
• La fonctionnalité Recall de Microsoft capture périodiquement l’intégralité de l’écran de l’utilisateur pour en faire une base de données, et ces informations peuvent être exposées à des malwares ou à des attaques par prompt injection
• Whittaker a expliqué chiffres à l’appui que les agents IA, en tant que systèmes probabilistes, voient leur précision chuter rapidement à mesure que le nombre d’étapes augmente, avec une faible fiabilité pour exécuter des tâches complexes
• Les deux responsables ont appelé à mettre fin aux déploiements inconsidérés, à activer l’opt-out par défaut et à renforcer la transparence, avertissant que sans cela, l’ensemble de l’industrie de l’IA pourrait être mis en danger par une perte de confiance des consommateurs

---

Risques de sécurité et de surveillance de l’IA agentique

• Si l’IA agentique est intégrée au niveau du système d’exploitation, toute la vie numérique d’une personne peut être stockée dans une base de données, ce qui augmente le risque d’accès par des malwares
  • Cette base de données peut inclure les comportements de l’utilisateur, les textes, le temps passé dans les applications et les activités mises en avant
  • Comme elle peut parfois être activée automatiquement sans consentement, les atteintes à la vie privée suscitent de fortes inquiétudes
• Les dirigeants de Signal soulignent que cette architecture entraîne à la fois une instabilité en matière de sécurité et des risques de surveillance

Le cas de Microsoft Recall

• Microsoft introduit une IA agentique dans Windows 11 via la fonctionnalité Recall
  • Recall capture l’écran toutes les quelques secondes, applique de l’OCR et une analyse sémantique, puis accumule toutes les activités de l’utilisateur dans une base de données
  • Les données incluent une chronologie des actions, le texte original, le temps de concentration par application et une classification par sujets
• Tiwari estime que cette approche ne parvient pas à empêcher les attaques par malware et les attaques cachées par prompt injection
  • Ces vulnérabilités peuvent contourner le chiffrement de bout en bout (E2EE)
  • Signal a ajouté une fonction qui bloque l’enregistrement de l’écran dans sa propre application, mais estime qu’il ne s’agit pas d’une solution fondamentale

Le problème de fiabilité de l’IA agentique

• Whittaker explique que l’IA agentique est un système probabiliste, et que sa précision diminue fortement lorsque le nombre d’étapes augmente
  • Si chaque étape a une précision de 95 %, le taux de réussite d’une tâche en 10 étapes est d’environ 59,9 %, et celui d’une tâche en 30 étapes d’environ 21,4 %
  • Avec une précision plus réaliste de 90 %, le taux de réussite d’une tâche en 30 étapes chute à 4,2 %
• Elle ajoute que même les meilleurs modèles d’agents actuels affichent un taux d’échec de 70 %
• Elle insiste donc sur le fait qu’il s’agit encore d’une technologie très peu fiable pour confier des tâches d’automatisation complexes

Mesures d’amélioration pour la vie privée et la sécurité

• Whittaker indique qu’à l’heure actuelle, il n’existe aucun moyen de garantir pleinement la vie privée, la sécurité et le contrôle, et que seules des réponses temporaires de type triage sont possibles
• Elle estime toutefois que les risques peuvent être atténués par les mesures suivantes
  • Mettre fin aux déploiements inconsidérés d’IA agentique et limiter l’accès des malwares aux bases de données en clair
  • Activer l’opt-out par défaut, afin que seuls les développeurs puissent choisir explicitement l’opt-in
  • Garantir la transparence sur le fonctionnement des systèmes d’IA et sur le traitement des données, avec une conception permettant un audit à un niveau détaillé
• Sans ces mesures, la perte de confiance des consommateurs pourrait mettre en péril l’ère même de l’IA agentique

Un avertissement pour l’ensemble du secteur

• Les dirigeants de Signal avertissent que l’IA agentique progresse dans un contexte de surinvestissement et de surestimation, mais que
  si les problèmes de sécurité, de fiabilité et de surveillance ne sont pas résolus, l’ensemble du secteur pourrait faire face à une crise
• Ils soulignent que les entreprises doivent faire passer la protection des utilisateurs et la transparence avant l’innovation technologique

[GN⁺]

Commentaires Hacker News

• Ce n’est pas un problème d’IA, mais de système d’exploitation
  L’IA est bien moins fiable qu’un logiciel écrit et relu par des humains, donc elle ne fait que révéler les défauts des systèmes existants
  Ni UNIX ni Microsoft n’ont correctement mis en œuvre l’isolation des processus, et même de bons modèles de sécurité n’ont pas aidé à vendre des ordinateurs ou des OS
  Il existe de bons exemples comme Plan 9, SEL4, Fuschia et Helios, mais le vrai problème, c’est le manque de discernement des décideurs
  Ne pas comprendre le sandboxing et les modèles de sécurité modernes devrait être considéré comme honteux

  • Même quand le modèle de sécurité est bien conçu, du point de vue de l’utilisateur c’est souvent trop contraignant
    Lorsqu’on déploie un logiciel dans un environnement très verrouillé, il arrive qu’il ne puisse communiquer avec rien par défaut et que le système de fichiers soit immuable au point de l’empêcher de s’exécuter
    Si on ajoute les certificats TLS et la configuration des CA, le déploiement devient un cauchemar
  • Comme l’IA cherche au fond à remplacer « l’usage de l’ordinateur », cela crée un brouillage de la frontière entre OS et IA
    Implémenter en sécurité une fonction comme Recall exige un contrôle fin des permissions, mais en pratique cela risque d’être aussi pénible que l’UAC
    Faire en sorte qu’une IA agisse comme un assistant personnel tout en restant sûre et fiable est un défi extrêmement difficile
  • Les modèles de sécurité des OS existants n’ont pas été conçus pour un monde en réseau
    La plupart ont été pensés avant Internet, donc tout reconstruire aujourd’hui est quasiment impossible à cause des problèmes de compatibilité et de coût
    Les conteneurs et les VM ne sont au fond que des solutions de fortune ajoutées par-dessus des systèmes existants
  • Comme les mêmes problèmes apparaissent partout où l’on intègre des LLM, l’IA elle-même porte aussi une part de responsabilité
    Qu’on l’ajoute à un navigateur, un client mail ou un traitement de texte, elle se comporte de manière imprévisible
    Au final, le vrai problème, c’est le choix d’intégrer des LLM impossibles à sécuriser
  • Pour être utile, l’IA a finalement besoin d’accès fiables et dignes de confiance
    Une isolation complète coûte trop cher en ressources et en complexité, et c’est aussi pour cela que des systèmes comme Qubes ne se sont pas généralisés
    Il faudrait concevoir de nouvelles interfaces avec une surface d’attaque fondamentalement réduite, mais cela impliquerait de transformer tout l’écosystème

• Il est logique que Signal fasse de la sécurité et de la vie privée sa priorité absolue
  À l’inverse, le rôle de l’IT en entreprise est de gérer le risque
  Ce sont deux rôles totalement différents, et les exigences de sécurité absolue de Signal sont adaptées à sa mission

  • C’est un point de vue intéressant, mais j’ai l’impression qu’il sous-estime le risque réel de faire tourner des agents sur le poste de travail d’un utilisateur en entreprise
    Je me demande quelle approche serait la plus judicieuse pour qu’un administrateur IT garde le contrôle du risque dans son organisation

• Je me souviens avoir vu chez Microsoft Research en 2009 un projet qui ressemble à un précurseur de Recall
  Il s’appelait PersonalVibe, et enregistrait les actions de l’utilisateur dans une base locale sans les envoyer à l’extérieur
  Lien du projet

• Dans l’environnement d’entreprise, l’attrait de l’« Agentic AI » est réel, mais la prévisibilité est une valeur encore plus importante
  Si ça ne fonctionne correctement qu’à 90 % et que les 10 % restants produisent des fuites de données ou des hallucinations, ce n’est pas un agent, c’est un facteur de risque
  Pour l’instant, on reste à une étape où le human-in-the-loop est indispensable

  • Selon que le risque est interne ou externe, le poids de la responsabilité change
    Les entreprises gèrent les risques internes, mais repoussent les risques externes via des conditions d’utilisation ou des EULA
    La plupart des gens cliquent en pensant soit « je fais confiance au fournisseur », soit « mon entreprise me protégera »
    Les dirigeants sont tentés de repousser les risques liés à l’IA à plus tard pour préserver leurs résultats à court terme
  • Je ne veux pas d’un agent, je veux un principal

• Une fonction comme Recall est une idée complètement absurde
  Anthropic comme ChatGPT essaient eux aussi d’absorber l’ensemble des données de travail de l’utilisateur dans leur modèle
  Ce qu’il nous faut aujourd’hui, c’est une vie privée vérifiable à l’étape d’inférence
  Si mes données sont transmises, elles doivent être protégées d’une manière vérifiable

  • L’IA est le plus grand risque pour la confidentialité des données parmi toutes les technologies créées jusqu’ici
    Les gens confient toutes leurs données à des entreprises qu’ils ne connaissent même pas
  • L’idée de Recall en elle-même peut être utile, mais on ne peut pas faire confiance à Microsoft
    Si cela fonctionnait uniquement à la demande, sous la forme d’une application portable non intégrée à l’OS, cela pourrait aller
    Cela pourrait être utile pour conserver un historique de travail lorsqu’on résout un problème
  • Pour que les données soient réellement privées, il faut que tout le traitement soit effectué en local
    Un environnement sans sortie vers un réseau externe est la seule vraie réponse
  • Apple paie des milliards de dollars pour intégrer Gemini3
    Il est difficile d’imaginer qu’un particulier puisse espérer le même niveau de confidentialité avec seulement quelques centaines de dollars
  • Même aux États-Unis, on ne sait pas très bien qui serait responsable de tout cela
    Les entreprises de l’IA pratiquent déjà depuis des années une collecte de données proche de l’illégalité, et le gouvernement ne semble pas s’en soucier

• L’évolution technologique donne l’impression d’une course vers le bas
  Trente ans de recherche en sécurité semblent avoir été rendus inutiles
  Les navigateurs IA manipulent cookies et jetons d’authentification, ce qui élargit indéfiniment la surface d’attaque

• L’idée de « donnons tous les droits d’accès à un système dont on ne comprend même pas le fonctionnement » est de la folie
  L’IA peut proposer des actions, mais les décisions doivent toujours être exécutées après validation de l’utilisateur
  Par exemple, si elle détecte une demande de résiliation d’abonnement, elle devrait demander : « l’IA a interprété cela ainsi, est-ce correct ? »
  Le problème, c’est aussi que les humains ont tendance à prendre un système exact à 90 % pour un système exact à 100 %

  • Une interaction de type “traduction” fondée sur la validation utilisateur est une approche responsable
    Par exemple, une demande en langage naturel comme « les articles sur Foo, mais en excluant Bar » pourrait être transformée en requête de recherche structurée puis proposée à l’utilisateur
    Bien sûr, des jeux de données malveillants restent un risque, mais c’est malgré tout bien préférable à une intégration irréfléchie de LLM

• Je me demande si l’on pourrait empêcher les comportements non souhaités en exécutant l’IA dans un compte utilisateur isolé,
  avec un pare-feu sur liste blanche et un système de fichiers en surcouche

• Ce qu’il faut, c’est un modèle zero trust au niveau de l’interaction
  Il faut permettre à l’IA d’accomplir des tâches sans voir directement les données sensibles
  Combiné à des enclaves matérielles sécurisées, cela pourrait résoudre le problème de confidentialité à la racine

• C’est exactement l’article que j’avais demandé hier
  Lien associé