OpenLLM - une plateforme ouverte pour exploiter des LLM en production

• Prend en charge différents types de LLM pour l’inférence et le déploiement
  • StableLM, Falcon, DOlly, Flan-T5, ChatGLM, StarCoder,..
• Sert des LLM via une API RESTful ou gRPC avec une seule commande
  • Appelable depuis WebUI, CLI, un client Python/Javascript ou tout client HTTP
• Prise en charge intégrée de LangChain, BentoML et HuggingFace
• Prise en charge du fine-tuning des LLM prévue