NVIDIA garak - Scanner de vulnérabilités pour LLM

• Garak est un outil gratuit développé pour détecter les vulnérabilités des systèmes basés sur des LLM
• Il sert principalement à examiner les dysfonctionnements et problèmes de sécurité des LLM, et peut être considéré comme une version de nmap pour les LLM
• Il explore diverses vulnérabilités des LLM à l’aide de sondes (probes) statiques, dynamiques et adaptatives

Principales fonctionnalités de Garak

• Identification des points de défaillance des LLM : exploration de nombreuses faiblesses, comme la génération d’informations erronées, les fuites de données, l’injection de prompt, la génération de contenu toxique ou les jailbreaks
• Utilisation de diverses techniques de probing : analyse de différents modes d’échec des LLM grâce à des dizaines de plugins et à de nombreuses sondes
• Journalisation : fournit des logs détaillés pour chaque cas d’échec, incluant le prompt, l’objectif et la réponse
• Mises à jour continues : de nouvelles sondes sont ajoutées grâce aux contributions de la communauté, les sondes existantes sont améliorées et la portée des tests s’élargit en continu

Caractéristiques principales de Garak

• Accent mis sur la sécurité des LLM
  • Vérifie en priorité les vulnérabilités propres aux LLM
    • Injection de prompt, jailbreak, contournement des garde-fous, attaques par rejeu de texte, etc.
  • Contrairement aux autres outils de sécurité ML, il se concentre uniquement sur la sécurité des LLM
• Scan automatisé
  • Exécute automatiquement diverses sondes, tout en automatisant aussi la configuration des détecteurs et la gestion de la limitation de débit
  • Un scan standard complet est possible avec la configuration par défaut, mais une personnalisation est également possible
• Prise en charge de nombreux LLM
  • Peut se connecter à plusieurs LLM, notamment OpenAI, Hugging Face, Cohere, Replicate
  • La communauté de contributeurs prévoit d’ajouter la prise en charge d’un plus grand nombre de LLM
• Fonctionnalités de reporting structurées
  • Affichage à l’écran : suivi en temps réel de l’avancement du scan
  • Logs de rapport : enregistrement détaillé de chaque prompt et réponse
  • Hit log : enregistrement lors de la découverte d’une vulnérabilité
  • Logs de debug : résolution de problèmes et traces de fonctionnement de Garak