OneRAG - une source RAG créée par un PM chatbot, où vector DB/LLM et autres peuvent être remplacés en changeant une seule ligne de configuration
(github.com/notadev-iamaura)En tant que non-développeur, après avoir mené plusieurs fois des produits liés aux chatbots, j’ai fini par vouloir créer moi-même un produit exactement comme je l’imaginais.
J’ai donc commencé à développer des chatbots sur Kmong.
Il y a beaucoup de projets Kmong portés par des non-développeurs en ce moment, et de mon côté, avec le seul créneau des chatbots RAG, j’ai généré environ 14 millions de wons de revenus en 5 mois depuis septembre dernier.
Les demandes des clients se ressemblent dans l’ensemble, et devoir modifier le code pour s’adapter à des pipelines RAG légèrement différents ou à l’utilisation de différentes vector DB était fastidieux, donc j’ai créé OneRAG.
Idée centrale : n’importe quel composant peut être remplacé en changeant une seule ligne dans le fichier de configuration
Composants pris en charge :
- Vector DB: Weaviate, Chroma, Pinecone, Qdrant, pgvector, MongoDB
- LLM: Gemini, OpenAI, Claude, OpenRouter
- Reranker: Jina, Cohere, Google, OpenAI, Local
- Cache: Memory, Redis, Semantic
- Extra: GraphRAG, PII Mask, Agent
Quickstart en 5 minutes :
git clone https://github.com/notadev-iamaura/OneRAG
cd OneRAG && make quickstart
Basé sur FastAPI, avec Docker Compose inclus, et prise en charge native du NLP coréen.
(Je travaille dans les services d’IA en Corée)
Licence MIT. Je serais reconnaissant pour vos retours sur l’architecture ou vos idées de composants à ajouter.
8 commentaires
Dernièrement, j’avais moi aussi vaguement le sentiment qu’un tel service serait nécessaire. Je me demande si vous envisagez éventuellement d’ajouter des modèles chinois comme GLM de zhipu ou kimi.
Merci pour votre avis !
Actuellement, il est déjà possible d’appeler des modèles via OpenRouter. Si vous configurez l’appel sur cette base, vous pouvez invoquer le modèle que vous mentionnez simplement en changeant le nom du modèle.
Si la structure consiste à faire fonctionner ce modèle en local, nous souhaitons ajouter cela dans une future mise à jour.
Cependant, ce sera probablement après qu’il nous semblera que le modèle a atteint un niveau suffisant pour être utilisé pour un RAG en coréen.
D’ici là, nous prévoyons d’ajouter un pipeline simplifié afin que les personnes qui découvrent le RAG puissent expérimenter facilement.
Par exemple, nous envisageons des fonctionnalités permettant de faire du RAG plus simplement avec moins de configuration en utilisant l’API Grok Collections :)
Merci pour votre réponse. Vous parlez bien de ce service, OpenRouter : https://openrouter.ai/ ? Le point sur le fait qu’il s’agisse de modèles d’un niveau suffisant pour être utilisés en RAG en coréen est quelque chose que je maîtrise mal, mais de mon côté, GLM 4.7 m’a donné des réponses en coréen de manière plus cohérente pour le prompt que je visais que sonnet 4.5, ce qui a renforcé ma confiance. Donc cela vaut peut-être le coup d’y jeter un œil avec intérêt.
Oui, tout à fait ! En s'appuyant sur l'API d'OpenRouter du lien concerné, le changement de modèle est simple.
(En revanche, environ 5 % de frais supplémentaires s'ajoutent au coût de recharge, donc cela reste pratique pour une utilisation au niveau d'un projet jouet.)
Je vais aussi vérifier les performances de GLM4.7 en l'utilisant réellement, puis voir comment l'intégrer :)
L’appli web est joliment soignée, et ça semble pratique à utiliser comme backend pour un chatbot.
Oui, pour un projet perso, ça a l’air plutôt correct avec un frontend bien soigné :)
Merci pour le partage !
Oui ! J’espère que cela pourra aider, même un peu, à tester facilement des produits RAG !