- Purple Llama est un projet-cadre (umbrella) de l’écosystème open source de fiabilité et de sécurité de l’IA porté par Meta, avec pour objectif de rassembler et de faire évoluer avec la communauté divers outils de sécurité, guides, outils d’évaluation (Eval) et benchmarks nécessaires au développement de l’IA générative (LLM)
- LlamaFirewall est un composant clé du projet Purple Llama, un framework qui détecte et bloque en temps réel, via une architecture de scanners multicouches, diverses menaces de sécurité pouvant survenir dans l’IA générative (en particulier les chatbots/agents basés sur des LLM), comme les injections de prompt, le misalignment ou les vulnérabilités de code
- Avec plusieurs outils de sécurité/fiabilité de Purple Llama comme Llama Guard, Prompt Guard, Code Shield, CyberSec Eval, il met en place une couche globale de sécurité de l’IA au niveau système
- Llama Guard : modèle de détection/blocage des contenus nuisibles en entrée et en sortie basé sur Llama 3. Il peut être intégré à la politique de LlamaFirewall et appliqué automatiquement à toutes les étapes d’entrée/sortie
- Prompt Guard : spécialisé dans la détection des attaques par injection de prompt/jailbreak, interfacé dans LlamaFirewall via
PromptGuardScanner
- Code Shield : détection en temps réel des vulnérabilités et du code malveillant dans le code généré par les LLM, interfacé dans LlamaFirewall via
CodeShieldScanner
- CyberSec Eval : outil de benchmark cybersécurité des LLM de Purple Llama. Utilisé pour tester la résilience réelle en matière de sécurité et les vulnérabilités des modèles basés sur LlamaFirewall
- Ses caractéristiques sont une faible latence, un débit élevé, une application en temps réel, un open source transparent et une forte extensibilité
- Permet aux équipes sécurité et aux développeurs IA de déployer rapidement des guardrails (barrières de protection) sûrs pour des chatbots, agents et IA multi-étapes basés sur des LLM
Aucun commentaire pour le moment.