Impossible d’empêcher les prompt injections ? Les 3 principes de conception proposés par Meta
(aisparkup.com)Simon Willison a publié un article analysant deux recherches récentes sur les prompt injections.
Les attaques de prompt injection contre l’IA sont actuellement très difficiles à bloquer parfaitement avec les techniques de défense existantes. Meta le reconnaît et propose de minimiser les risques via un principe de conception système appelé « Agents Rule of Two ».
Points clés :
- Risques et vulnérabilités : un attaquant peut insérer des instructions malveillantes dans l’IA, provoquant des fuites de données personnelles ou des tentatives de phishing. Une étude souligne que 12 systèmes de défense ont été contournés à plus de 90 %.
- Principe du Rule of Two : concevoir les agents IA de sorte qu’ils ne possèdent que 2 des 3 propriétés suivantes simultanément (A, B, C).
- [A] traitement d’entrées non fiables
- [B] accès à des systèmes sensibles / à des données personnelles
- [C] modification d’état ou communication externe
- Exemple : un bot e-mail peut avoir A (entrée) + C (communication), mais B (données personnelles) lui est interdit.
- Approche réaliste : réduire les risques par la conception plutôt que viser une défense parfaite.
Conclusion : puisqu’il est impossible d’éviter les prompt injections, il faut repenser les systèmes d’IA autour de principes comme le Rule of Two. Cette approche est évaluée comme une alternative pragmatique.
5 commentaires
À la lecture de votre traduction, il est clair qu’elle a bien subi une injection de prompt.
« l’expert en sécurité de l’IA Simon Willison » <= Faux
Simon Willison est un célèbre développeur web connu pour avoir créé Django. Il développe aussi des outils pour les LLM, écrit beaucoup sur l’IA et donne également de nombreuses conférences sur le sujet. Il montre aussi un grand intérêt pour la sécurité de l’IA et publie de nombreux articles à ce propos. Dans le contexte de cet article, je ne pense donc pas qu’il soit vraiment inexact de le qualifier d’« expert en sécurité de l’IA ». Je pense qu’il a des connaissances et une réelle expertise sur la sécurité de l’IA, c’est pourquoi j’ai volontairement utilisé cette expression. (Donc, ce n’est pas une injection ^^)
Si je résume, vous voulez dire que ce titre a été choisi pour des raisons de commodité dans l’explication ? Il y a bien une section IA sur la page « about » du blog, mais de là à dire que c’est au point que d’autres lui attribuent le titre d’expert en sécurité de l’IA, j’ai du mal à être convaincu que ce soit là sa principale réalisation.
En tout cas, j’ai compris l’idée générale.
Merci pour cet excellent article.
Merci pour cet excellent article.
On dirait que c’est conçu un peu comme le théorème CAP.