Portkey AI Gateway - utiliser plus de 100 LLM via une seule API
(github.com/Portkey-AI)- Interface entre les applications et les LLM, permettant d’appeler tous les LLM via une API unifiée
- OpenAI, Anthropic, Mistral, LLama2, Anyscale, Google Gemini, etc.
- Très rapide (9,9x) avec une empreinte réduite (~45 kb)
- Équilibrage de charge possible entre plusieurs modèles/fournisseurs/clés
- Aide les applications à fonctionner de manière stable grâce au fallback et aux nouvelles tentatives automatiques
2 commentaires
Si cela fonctionne bien, cela pourrait être utile.
Je fais partie des mainteneurs — au plaisir d’avoir les retours de la communauté !