7 points par xguru 2024-01-11 | 2 commentaires | Partager sur WhatsApp
  • Interface entre les applications et les LLM, permettant d’appeler tous les LLM via une API unifiée
    • OpenAI, Anthropic, Mistral, LLama2, Anyscale, Google Gemini, etc.
  • Très rapide (9,9x) avec une empreinte réduite (~45 kb)
  • Équilibrage de charge possible entre plusieurs modèles/fournisseurs/clés
  • Aide les applications à fonctionner de manière stable grâce au fallback et aux nouvelles tentatives automatiques

2 commentaires

 
ragingwind 2024-01-11

Si cela fonctionne bien, cela pourrait être utile.

 
vrv18 2024-01-12

Je fais partie des mainteneurs — au plaisir d’avoir les retours de la communauté !