BricksLLM - Passerelle IA pour les LLM
(github.com/bricks-cloud)- Une passerelle IA cloud native écrite en Go
- Fonctionne comme un proxy pour OpenAI
- Permet de créer des clés API avec Rate Limit, Cost Limit et TTL afin d’offrir des fonctions de contrôle d’accès détaillées qu’OpenAI ne propose pas
- L’objectif est de prendre en charge divers LLM comme LLama2, Claude et PaLM2, et de simplifier l’exploitation des LLM
Aucun commentaire pour le moment.