Projet de code léger et efficace pour l’évaluation de modèles RAG

Retriever Simple Benchmark vise à devenir un projet de benchmark léger et efficace conçu pour évaluer les rerankers nécessaires au RAG.
Je l’ai créé parce que j’en avais besoin, et je le développe en open source.

---

Why?

De nombreux retours indiquaient que les outils de benchmark existants (par ex. MTEB) étaient difficiles à utiliser, car l’installation des dépendances et leur exécution sont contraignantes.
L’objectif est de pouvoir l’exécuter très facilement, avec un minimum de dépendances, de façon légère, et d’obtenir immédiatement des résultats.

---

Présentation du dépôt

• Prend actuellement en charge les cross-encoder basés sur le coréen, et prévoit d’ajouter ensuite des modèles bi-encoder.
• Afin de rendre le projet Python maintenable, il a été réécrit avec astral-uv.

---

Utilisation 💻

1️⃣ Configuration de l’environnement

make init  

2️⃣ Exécution (seul le GPU unique est actuellement pris en charge)

make run TYPE=cross-encoder MODEL_NAME=sigridjineth/ko-reranker-v1.1 MODEL_CLASS=huggingface DATATYPE_NAME=AutoRAG  

---

Suite prévue 📈

• Modèles supplémentaires pris en charge

  • Modèles bi-encoder basés sur HuggingFace et FlagEmbedding

• Jeux de données supplémentaires

  • AutoRAG est actuellement pris en charge, KURE est prévu

---

➡️ Voir le projet sur GitHub
➡️ Discord InstructKR