Mozilla publie en open source any-llm-gateway, sa solution de gestion des coûts des LLM

Mozilla AI a publié en open source le serveur proxy any-llm-gateway afin de résoudre les problèmes d’explosion des coûts et de frein à l’innovation liés à l’usage des LLM (grands modèles de langage). Il s’agit d’un outil prêt pour la production, basé sur la bibliothèque any-llm existante, avec des fonctions renforcées de gestion de budget, de gestion des clés API et d’analyse de l’usage.

Fonctionnalités clés :

• Gestion intelligente du budget : définition de paliers de budget partagés pour un usage commun par plusieurs utilisateurs. Réinitialisation automatique à la journée, à la semaine ou au mois, avec application forcée ou simple suivi au choix.
• Système de clés API flexible : prise en charge des clés maîtres (pour les services de confiance) et des clés virtuelles (avec expiration/métadonnées configurables, activation ou révocation possibles). Suivi automatique des dépenses par utilisateur.
• Analyse complète de l’usage : enregistrement, pour chaque requête, du nombre de tokens, du coût et des métadonnées. Prise en charge des rapports de dépenses par utilisateur et de la répartition des coûts.

Aspects pratiques :

L’outil propose une API compatible OpenAI et permet de spécifier les modèles au format provider:model (par exemple openai:gpt-4o-mini). Il inclut le streaming et le suivi automatique des tokens. Le déploiement est simple avec Docker, et la prise en charge de la configuration par YAML/variables d’environnement ainsi que des probes Kubernetes le rend adapté aux environnements de production.

Cet outil est utile pour l’implémentation de plans tarifaires SaaS, la gestion d’équipes de recherche, entre autres, et met l’accent sur l’équilibre entre contrôle des coûts et innovation. Étant open source, il peut être utilisé et personnalisé librement par tous.