liteLLM - Serveur proxy prenant en charge plus de 50 LLM
(github.com/BerriAI)- L'API
/chat/completionpeut être appelée pour différents LLM comme Azure, OpenAI, Replicate, Anthropic et Hugging Face - Uniformise les formats d'entrée/sortie au format OpenAI
- Prend en charge le fallback entre modèles (ex. : appeler llama2 si GPT-4 échoue)
- Prise en charge de la journalisation : Supabase, Posthog, Mixpanel, Sentry, Helicone
- Suivi de l'utilisation des tokens
- Implémentation du semantic caching
- Prise en charge du streaming et de l'asynchrone
Aucun commentaire pour le moment.