Arch - passerelle de prompts intelligente

• Passerelle intelligente de couche 7 destinée à la protection, à l’observabilité et à la personnalisation des applications LLM (agents, assistants, copilots), qui s’intègre aux API des utilisateurs pour optimiser les LLM
• Gère les tâches essentielles liées au traitement des prompts, notamment la détection et le blocage des tentatives de jailbreak
• Traite les requêtes en appelant les API backend adaptées au prompt
• Fournit un routage intelligent entre les LLM en amont ainsi que la reprise après sinistre
• Permet d’observer et d’administrer de manière centralisée les prompts et les interactions avec les LLM

Fonctionnalités principales

• Basé sur Envoy : Construit sur Envoy Proxy, il gère le trafic entrant et sortant des prompts comme des requêtes HTTP et fournit des capacités extensibles de traitement des LLM.
• Function Calling : Prend en charge les applications agentiques et les applications RAG via des LLM conçus pour exécuter des tâches rapides et économiques, comme les appels d’API ou l’extraction de paramètres à partir des prompts.
• Prompt Guard : Administre de façon centralisée des garde-fous de sécurité pour les prompts, sans codage supplémentaire, afin de prévenir les tentatives de jailbreak et de garantir des interactions utilisateur sûres.
• Gestion du trafic : Réessaie intelligemment les appels LLM et bascule automatiquement les connexions pour garantir la disponibilité continue des connexions en amont.
• Observabilité fondée sur des standards : Utilise le standard W3C Trace Context pour permettre le traçage complet des requêtes entre applications, et aide à optimiser les performances des applications d’IA grâce à des métriques telles que la latence, l’utilisation de tokens et le taux d’erreur.