Exploiter l’armement du redimensionnement d’images contre les systèmes d’IA en production

• Il est possible d’attaquer des systèmes d’IA en production en exploitant des vulnérabilités de redimensionnement d’images
• Une image apparemment normale peut, lors du downscaling, se transformer en charge utile de prompt injection, entraînant une possible exfiltration de données
• Cette attaque a été observée sur divers services réels, dont Google Gemini CLI, en exploitant un décalage entre ce que voit l’utilisateur et ce qui est réellement donné en entrée au modèle
• Les techniques d’attaque et leur impact varient selon les algorithmes de downscaling et leurs implémentations respectives, et l’outil open source Anamorpher permet d’expérimenter des attaques par image
• Parmi les mesures de défense recommandées : fournir un aperçu de l’entrée, appliquer des modèles de conception sûrs et exiger une approbation explicite de l’utilisateur

---

Contexte et formulation du problème

• Il existe un scénario d’attaque dans lequel une image d’apparence ordinaire, fournie à un système d’IA comme un LLM, déclenche pendant le downscaling une prompt injection multimodale cachée qui exfiltre les données de l’utilisateur vers l’extérieur
• Cette vulnérabilité existe parce que l’image réellement transmise au modèle passe par une étape de mise à l’échelle, au cours de laquelle la charge utile insérée par l’attaquant devient visible

Attaques par redimensionnement d’images visant les systèmes d’IA en production

• Ce billet de blog montre concrètement comment des vulnérabilités de redimensionnement d’images peuvent être exploitées dans des attaques réelles contre divers produits d’IA, dont Gemini CLI, Vertex AI Studio, Gemini web et API, Google Assistant, Genspark
• L’outil open source Anamorpher permet de générer et de valider facilement ces images personnalisées

Exemple d’attaque par exfiltration de données (Gemini CLI)

• Dans Gemini CLI, avec les paramètres par défaut, le serveur Zapier MCP approuve automatiquement tous les appels d’outils MCP sans confirmation de l’utilisateur (paramètre trust=True dans settings.json)
• Lorsqu’un utilisateur téléverse une image d’apparence normale, la prompt injection contenue dans l’image redimensionnée provoque l’exfiltration des données de Google Calendar vers l’adresse e-mail de l’attaquant
• Comme aucun aperçu réel n’est fourni, l’utilisateur ne peut pas savoir si le résultat a été altéré ni si une attaque est en cours
• Des attaques similaires par prompt injection ont déjà été observées dans divers outils de développement agentiques, dont Claude Code et OpenAI Codex
• Ces outils présentent souvent par défaut des réglages non sûrs et des schémas système fragiles, ce qui exige des correctifs de fond

Autres cas d’attaque

• Des attaques par prompt injection fondées sur le redimensionnement d’images ont également réussi sur Vertex AI, l’interface web de Gemini, l’API Gemini, Google Assistant et Genspark
• En particulier, dans Vertex AI Studio, l’utilisateur ne peut consulter que l’image en haute résolution et ne voit pas la version réduite réellement consommée par le modèle
• En conséquence, le décalage entre la perception de l’utilisateur et l’entrée réelle du modèle facilite l’attaque
• Le vecteur d’attaque est largement présent à travers de nombreux systèmes et outils

Mécanisme interne des attaques par redimensionnement d’images

• Cette attaque exploite les propriétés d’interpolation des algorithmes de downscaling (rééchantillonnage)
• Parmi les principaux algorithmes de downscaling figurent Nearest Neighbor, Bilinear, Bicubic Interpolation, chacun nécessitant des techniques d’attaque adaptées à ses caractéristiques
• Des différences d’implémentation existent aussi selon les bibliothèques (Pillow, PyTorch, OpenCV, TensorFlow), notamment en matière d’anti-aliasing, d’alignement et de bugs internes
• Pour optimiser l’attaque, l’attaquant doit réaliser une analyse d’empreinte afin d’identifier quel algorithme et quelle implémentation sont utilisés par chaque système
• Des images de test variées, comme des motifs en damier, des cercles concentriques, des motifs en bandes, des effets de Moiré ou des bords inclinés, servent à analyser les caractéristiques des algorithmes et les artefacts

Principes de l’échantillonnage d’images et théorème de Nyquist–Shannon

• Lorsqu’un ruban contient des motifs complexes et qu’on l’échantillonne à intervalles réguliers, une fréquence d’échantillonnage trop faible peut empêcher de reconstruire fidèlement le motif d’origine et produire des distorsions
• Il s’agit de l’effet d’aliasing décrit par le théorème d’échantillonnage de Nyquist–Shannon, que l’attaquant exploite en manipulant les pixels pour faire apparaître un motif précis après downscaling

Anamorpher : outil de création d’images d’attaque

• Anamorpher est un outil open source qui permet de créer et visualiser des images d’attaque adaptées aux principaux algorithmes de downscaling (Nearest Neighbor, Bilinear, Bicubic)
• Par exemple, avec Bicubic Interpolation, la valeur d’un pixel de sortie est déterminée en pondérant les pixels voisins à partir de 16 pixels d’une zone 4x4
• L’attaquant choisit une image à fort contraste (par exemple un fond noir très sombre) et optimise la luminosité des pixels les plus influents (méthode des moindres carrés) pour que le résultat du downscaling forme un motif d’attaque net
• Anamorpher fournit une interface frontend et une API Python, ainsi qu’une architecture backend modulaire qui permet à l’utilisateur d’expérimenter jusqu’à des algorithmes de downscaling personnalisés

Défense et réponses possibles

• La méthode la plus sûre consiste à ne pas utiliser du tout le downscaling d’images et à limiter la taille des images pouvant être téléversées
• Si une transformation et un downscaling sont inévitables, il faut impérativement fournir, sur tous les canaux d’entrée comme les CLI et les API, un aperçu de l’image réellement transmise au modèle
• Il faut en particulier exiger une approbation explicite de l’utilisateur afin que le texte présent dans l’image ne puisse pas déclencher d’appels d’outils sensibles, et appliquer à l’échelle du système entier des modèles de conception sûrs et des réponses systématiques

Travaux à venir

• Sur les appareils mobiles et edge, le risque peut être plus élevé en raison des contraintes de taille d’image fixe et de l’usage plus fréquent d’algorithmes de downscaling inefficaces
• Des recherches supplémentaires et de nouvelles mesures de défense sont nécessaires, notamment sur la combinaison avec l’IA vocale, des algorithmes plus sophistiqués et des méthodes de détection d’injection, la prompt injection sémantique et l’exploitation des artefacts d’upscaling

Conclusion

• Anamorpher est actuellement en phase bêta
• À l’avenir, on peut espérer des retours pertinents et des améliorations en parallèle des recherches sur la sécurité des systèmes d’IA multimodaux et agentiques