15 points par xguru 2023-08-14 | Aucun commentaire pour le moment. | Partager sur WhatsApp
  • L'API /chat/completion peut être appelée pour différents LLM comme Azure, OpenAI, Replicate, Anthropic et Hugging Face
  • Uniformise les formats d'entrée/sortie au format OpenAI
  • Prend en charge le fallback entre modèles (ex. : appeler llama2 si GPT-4 échoue)
  • Prise en charge de la journalisation : Supabase, Posthog, Mixpanel, Sentry, Helicone
  • Suivi de l'utilisation des tokens
  • Implémentation du semantic caching
  • Prise en charge du streaming et de l'asynchrone

Aucun commentaire pour le moment.

Aucun commentaire pour le moment.