ir - moteur de recherche local alternatif à qmd (prise en charge du prétraitement coréen)
(github.com/vlwkaos)En utilisant qmd jusqu’ici, j’ai constaté plusieurs problèmes et j’ai donc créé un moteur de recherche local pour le remplacer.
L’obligation peu pratique d’indexer/générer les embeddings de toutes les collections en une seule fois dans une unique base sqlite
-> en séparant cela, il devient possible de gérer les collections par projet, et les mises à jour d’index sont aussi plus fluides lorsque plusieurs agents travaillent en même temps.
Le problème de ne prendre en charge qu’un prétraitement de base centré sur l’anglais
-> cela permet d’ajouter directement un preprocessor basé sur les entrées/sorties de commande. Dans le dépôt, j’ai conservé lindera-ko, qui a obtenu les meilleures performances après plusieurs benchmarks. Veuillez consulter le guide pour l’installation.
Le problème du temps très long nécessaire pour charger à froid un modèle pour la recherche hybride lorsque le BM25 gap test échoue
-> un daemon tourne en arrière-plan et garde le modèle chargé en mémoire.
Par rapport à qmd, c’est plus de 20 fois plus rapide à chaud,
et contrairement à qmd, qui ne dispose pas de benchmark sur le score de pertinence,
j’ai effectué un léger ajustement des scores sur un corpus réel.
Comme il s’agit de la première publication, il peut y avoir des problèmes ; je vous serais reconnaissant de me les signaler en commentaire ou d’ouvrir une issue.
Guide en coréen : https://github.com/vlwkaos/ir/blob/main/README.ko.md
2 commentaires
J’étais préoccupé par les limites de QMD, donc j’en attends beaucoup !
Oh, je vais bien m'en servir !