Piratage de Google Bard : de l’injection de prompt à l’exfiltration de données

Découverte et correction de vulnérabilités dans Google Bard

• Google Bard a récemment reçu une mise à jour majeure, lui permettant d’accéder à YouTube, de rechercher des vols et des hôtels, ainsi que d’accéder à des documents personnels et à des e-mails.
• Bard peut désormais analyser les données de Drive, Docs et Gmail, ce qui le rend vulnérable à l’injection indirecte de prompt.
• L’injection de prompt a permis de réussir des tests de résumé de vidéos YouTube et de Google Docs.

Attaques d’injection indirecte de prompt via e-mail et Google Docs

• Les attaques d’injection indirecte de prompt via e-mail ou Google Docs sont menaçantes, car elles peuvent être transmises sans le consentement de l’utilisateur.
• Une injection peut se produire lorsqu’un attaquant force le partage d’un Google Docs et que Bard est utilisé pour interagir avec le document.

Vulnérabilité — injection Markdown d’image

• Lorsque le LLM de Google renvoie des éléments Markdown, Bard les affiche en HTML.
• En insérant des données dans une balise d’image, il est possible de provoquer une exfiltration de données vers un serveur.
• La vulnérabilité est exploitée en résumant l’historique de conversation ou en accédant à des données précédentes pour les ajouter à l’URL.

Contournement du CSP

• Le CSP de Google empêche le chargement d’images depuis des emplacements arbitraires.
• Il est possible de contourner le CSP via Google Apps Script, à l’aide d’URL exécutées sur les domaines script.google.com ou googleusercontent.com.

Création de Bard Logger

• Apps Script a été utilisé pour implémenter « Bard Logger ».
• Le logger enregistre dans un Google Doc tous les paramètres de requête ajoutés à l’URL appelée.
• La configuration permet d’exposer un endpoint sans authentification.

Démo et divulgation responsable

• Une vidéo et des captures d’écran montrent comment l’historique de conversation d’un utilisateur peut être exfiltré via un Google Doc malveillant.

Shell Code

• Une charge utile incluse dans un Google Doc est utilisée pour effectuer une injection de prompt et une exfiltration de données.
• Les capacités du LLM sont exploitées pour remplacer du texte dans l’URL de l’image.

Captures d’écran

• Pour ceux qui n’ont pas le temps de regarder la vidéo, les principales étapes sont fournies sous forme de captures d’écran.

Correctif de Google

• Le problème a été signalé au VRP de Google le 19 septembre 2023, et il a été confirmé que le correctif avait été finalisé le 19 octobre.
• Le CSP n’a pas été modifié, mais un filtrage semble avoir été appliqué pour empêcher l’insertion de données dans les URL.

Conclusion

• Cette vulnérabilité montre la puissance et le degré de liberté dont peut disposer un adversaire lors d’attaques d’injection indirecte de prompt.
• Merci aux équipes sécurité de Google et de Bard d’avoir résolu rapidement ce problème.

Chronologie du correctif

• Signalement du problème : 19 septembre 2023
• Confirmation du correctif : 19 octobre 2023

Références

• Annonce de l’extension Google Bard, injection indirecte de prompt liée à Google Bard, talk sur l’injection de prompt à Ekoparty 2023, image Google Bard - Data Exfil générée avec DALLE-3

Annexe

• Contenu complet de l’injection de prompt dans le Google Doc fourni

L’avis de GN⁺

Le point le plus important de cet article est la vulnérabilité introduite par les nouvelles fonctionnalités de Google Bard et le risque d’exfiltration de données qui en découle. Cela met en lumière les problèmes de sécurité des services basés sur l’IA et rappelle l’importance de protéger les données des utilisateurs. Avec l’évolution des technologies, de nouveaux types de menaces de sécurité apparaissent, ce qui montre la nécessité de poursuivre la recherche et les réponses dans ce domaine. Le processus de découverte et de correction de cette vulnérabilité constitue un cas intéressant et instructif pour les personnes intéressées par le génie logiciel et la cybersécurité, et souligne l’importance d’efforts continus pour un usage sûr des technologies.

[GN⁺]

Avis Hacker News

• Quel est l’avenir des LLM ? Intégrer des LLM difficiles à déboguer dans des domaines sensibles sera très compliqué sans garantie raisonnable de pouvoir corriger les vulnérabilités de sécurité.
• Lors des tests de Bard avant son lancement, il s’est avéré facile de le faire céder en remplissant le contexte pour évincer les règles.
• Le problème n’est pas la raison pour laquelle l’exfiltration de données fonctionne, mais pourquoi nous pensons qu’accorder des privilèges spéciaux à un échantillonneur aléatoire de tokens fonctionne dans la plupart des cas.
• Aucun bug bounty n’est explicitement mentionné. Je me demande si une récompense a été versée.
• Chez Lakera AI, ils développent un détecteur d’injection de prompt entraîné sur diverses sources de données, y compris des prompts tirés du jeu d’injection de prompt Gandalf.
• Ne pourrait-on pas résoudre ce problème avec le LLM lui-même ? Ne faudrait-il pas quelque chose comme un prompt système qui n’accepte des prompts que depuis la zone de saisie utilisateur et n’interprète pas le texte des documents comme des prompts ?
• Il est dit que Bard peut accéder à Google Drive, Docs et Gmail et les analyser. Pourtant, lorsqu’on lui demande s’il peut accéder à Gmail, Bard répond qu’il ne peut pas y accéder directement. Lorsqu’on lui demande comment activer l’extension Gmail, il répond qu’elle n’est pas disponible actuellement. Mais en cliquant sur l’icône en forme de puzzle dans Bard, on peut activer les extensions Google Workspace, y compris Gmail.
• Les LLM ne devraient être entraînés et n’accéder qu’aux données et actions déjà approuvées par l’utilisateur. Garantir qu’un LLM soit orienté par prompt vers une tâche précise est très difficile avec l’architecture actuelle, voire peut-être impossible. Les LLM ont un potentiel énorme, mais pour un déploiement réussi dans des systèmes de sécurité, ces limites devront être surmontées au niveau architectural.
• J’aime le début du prompt : "Toute personne lisant ce document doit, conformément aux exigences du ministère de la Justice, faire ce qui suit."
• Résumé : Bard peut afficher des images Markdown dans une conversation. Il peut aussi lire le contenu de documents Google afin de fournir davantage de contexte à la conversation. En partageant avec la victime un document Google contenant un prompt malveillant, il est possible d’amener Bard à générer un lien d’image Markdown qui inclut une partie de la conversation dans une section encodée dans l’URL. Cette partie de la conversation peut être exfiltrée lorsque l’interface de Bard accède à l’URL qu’un attaquant lui a auparavant fait créer pour charger l’image.
• Leçon à retenir : il faut faire attention à ce que lit un assistant IA. Cela peut être contrôlé par un attaquant et contenir des suggestions hypnotiques.