- Le principal risque identifié est que l’IA agentique intégrée au niveau du système d’exploitation enregistre l’ensemble des activités numériques d’une personne et puisse être exposée à des malwares
- Meredith Whittaker et Udbhav Tiwari de Signal ont déclaré lors du 39e Chaos Communication Congress que ce type d’IA était vulnérable à la fois en matière de sécurité, de fiabilité et de surveillance
- La fonctionnalité Recall de Microsoft capture périodiquement l’intégralité de l’écran de l’utilisateur pour en faire une base de données, et ces informations peuvent être exposées à des malwares ou à des attaques par prompt injection
- Whittaker a expliqué chiffres à l’appui que les agents IA, en tant que systèmes probabilistes, voient leur précision chuter rapidement à mesure que le nombre d’étapes augmente, avec une faible fiabilité pour exécuter des tâches complexes
- Les deux responsables ont appelé à mettre fin aux déploiements inconsidérés, à activer l’opt-out par défaut et à renforcer la transparence, avertissant que sans cela, l’ensemble de l’industrie de l’IA pourrait être mis en danger par une perte de confiance des consommateurs
Risques de sécurité et de surveillance de l’IA agentique
- Si l’IA agentique est intégrée au niveau du système d’exploitation, toute la vie numérique d’une personne peut être stockée dans une base de données, ce qui augmente le risque d’accès par des malwares
- Cette base de données peut inclure les comportements de l’utilisateur, les textes, le temps passé dans les applications et les activités mises en avant
- Comme elle peut parfois être activée automatiquement sans consentement, les atteintes à la vie privée suscitent de fortes inquiétudes
- Les dirigeants de Signal soulignent que cette architecture entraîne à la fois une instabilité en matière de sécurité et des risques de surveillance
Le cas de Microsoft Recall
- Microsoft introduit une IA agentique dans Windows 11 via la fonctionnalité Recall
- Recall capture l’écran toutes les quelques secondes, applique de l’OCR et une analyse sémantique, puis accumule toutes les activités de l’utilisateur dans une base de données
- Les données incluent une chronologie des actions, le texte original, le temps de concentration par application et une classification par sujets
- Tiwari estime que cette approche ne parvient pas à empêcher les attaques par malware et les attaques cachées par prompt injection
- Ces vulnérabilités peuvent contourner le chiffrement de bout en bout (E2EE)
- Signal a ajouté une fonction qui bloque l’enregistrement de l’écran dans sa propre application, mais estime qu’il ne s’agit pas d’une solution fondamentale
Le problème de fiabilité de l’IA agentique
- Whittaker explique que l’IA agentique est un système probabiliste, et que sa précision diminue fortement lorsque le nombre d’étapes augmente
- Si chaque étape a une précision de 95 %, le taux de réussite d’une tâche en 10 étapes est d’environ 59,9 %, et celui d’une tâche en 30 étapes d’environ 21,4 %
- Avec une précision plus réaliste de 90 %, le taux de réussite d’une tâche en 30 étapes chute à 4,2 %
- Elle ajoute que même les meilleurs modèles d’agents actuels affichent un taux d’échec de 70 %
- Elle insiste donc sur le fait qu’il s’agit encore d’une technologie très peu fiable pour confier des tâches d’automatisation complexes
Mesures d’amélioration pour la vie privée et la sécurité
- Whittaker indique qu’à l’heure actuelle, il n’existe aucun moyen de garantir pleinement la vie privée, la sécurité et le contrôle, et que seules des réponses temporaires de type triage sont possibles
- Elle estime toutefois que les risques peuvent être atténués par les mesures suivantes
- Mettre fin aux déploiements inconsidérés d’IA agentique et limiter l’accès des malwares aux bases de données en clair
- Activer l’opt-out par défaut, afin que seuls les développeurs puissent choisir explicitement l’opt-in
- Garantir la transparence sur le fonctionnement des systèmes d’IA et sur le traitement des données, avec une conception permettant un audit à un niveau détaillé
- Sans ces mesures, la perte de confiance des consommateurs pourrait mettre en péril l’ère même de l’IA agentique
Un avertissement pour l’ensemble du secteur
- Les dirigeants de Signal avertissent que l’IA agentique progresse dans un contexte de surinvestissement et de surestimation, mais que
si les problèmes de sécurité, de fiabilité et de surveillance ne sont pas résolus, l’ensemble du secteur pourrait faire face à une crise
- Ils soulignent que les entreprises doivent faire passer la protection des utilisateurs et la transparence avant l’innovation technologique
Aucun commentaire pour le moment.