Lanarky - framework open source pour déployer des LLM en production
(github.com/ajndkr)- Basé sur FastAPI
- Streaming de tokens multimode
- Chatbot gradio simple pour un prototypage rapide
- Prise en charge des applications LangChain
- Plusieurs stratégies de mise en cache pour les LLM
- À venir : prise en charge de LlamaIndex, Guidance, Rebuff, ainsi que l’intégration avec des bases de données SQL
Aucun commentaire pour le moment.