AutoRAG : l’outil d’automatisation qui trouve automatiquement le pipeline RAG optimal

• AutoRAG optimise automatiquement le RAG, comme AutoML optimise automatiquement le ML
• Le RAG (Retrieval-Augmented Generation), qui permet à un LLM de répondre aussi à partir de connaissances qu’il ne connaît pas en effectuant des recherches dans des milliers de documents (PDF, Word, etc.), suscite beaucoup d’intérêt.
• Il est difficile de construire un pipeline RAG réellement performant à partir de documents réels.
• Pour le RAG, la combinaison adaptée varie selon les données et l’objectif, et il faut répéter de nombreuses expérimentations et évaluations pour trouver la meilleure.
• Rien qu’avec les 12 modules actuellement pris en charge par AutoRAG, les combinaisons de pipelines RAG peuvent déjà atteindre 960 variantes.
  (les embeddings et les modèles de langage sont exclus de ces combinaisons)
• AutoRAG optimise automatiquement le RAG, comme AutoML optimise automatiquement le ML
• Il suffit de modifier simplement un fichier YAML pour l’utiliser.
• Le meilleur RAG trouvé peut être lancé et utilisé immédiatement comme serveur fastAPI.

---

En étudiant le RAG, en construisant plusieurs pipelines et en testant leurs performances, la plus grande difficulté que j’ai ressentie a été de « l’optimiser pour chaque jeu de données ».
Le monde académique propose chaque jour de nouveaux modules ou pipelines RAG, mais lorsqu’on les récupère au prix de gros efforts pour les appliquer à des données réelles, il arrive souvent que les performances ne s’améliorent pas du tout. De plus, le processus de constitution d’un jeu de données d’évaluation à partir de documents tels que des PDF, puis l’expérimentation et l’évaluation avec plusieurs modules, était fastidieux et pénible.

Comme nous pensions que la plupart des équipes de développement RAG rencontreraient les mêmes difficultés, notre équipe a créé AutoRAG en open source. En consultant GitHub et notre documentation, vous pourrez facilement l’utiliser en suivant les instructions.

Que vous travailliez déjà activement sur le RAG ou que vous le découvriez tout juste, vous devriez tous pouvoir l’utiliser avec satisfaction !