Recherche vectorielle de « Wikipedia » hors ligne sur des millions de pages

• Article sur un nouveau moteur de recherche Wikipedia basé sur le navigateur, avec recherche hors ligne possible
• Fonction de recherche en temps réel sur un million de pages Wikipedia, avec retour des résultats toutes les 10 ms sur appareil mobile
• Petite taille de la base de données du moteur de recherche, un cas d’usage léger prenant en charge un million d’embeddings sans traitement particulier
• Moteur de recherche utilisant un sentence transformer pour les embeddings de documents, la quantification de produits pour compresser les embeddings, et pq.js pour exécuter le calcul des distances dans le navigateur
• Utilisation de transformers.js pour exécuter dans le navigateur un sentence transformer destiné aux requêtes du moteur de recherche
• Moteur de recherche triant les embeddings selon la taille compressée des pages, afin d’analyser d’abord les pages les plus denses en information et de les renvoyer dans le top 10
• Moteur de recherche utilisant Arrow au lieu de JSON pour de meilleures performances, Arrow permettant de stocker de façon compacte des tableaux de quantification de produits en entiers 8 bits
• Moteur de recherche utilisant des modèles ONNX exécutés en WebAssembly, sans accélération GPU pour l’instant
• Moteur de recherche qui génère les embeddings de l’ensemble de Wikipedia avec un sentence transformer, compresse les embeddings par quantification de produits, et écrit ONNX manuellement
• Moteur de recherche exportant numpy vers Arrow pour stocker embeddings et métadonnées, de manière bien plus compacte en mémoire comme sur disque
• Moteur de recherche prenant en charge la recherche à facettes, permettant une recherche en temps réel dans des sous-catégories de produits
• L’auteur invite aux retours et suggestions d’amélioration, notamment sur la prise en charge d’autres niveaux de quantification et d’autres dimensions d’embedding

[GN⁺]

Avis Hacker News

• Article sur un nouvel outil permettant de rechercher Wikipédia hors ligne
• Certains utilisateurs estiment que cet outil est moins précis que des services d'IA comme ChatGPT
• Un outil qui associe les requêtes de recherche à l'aide d'embeddings de texte
• Un article récent intitulé « Recherche de texte basée sur des descriptions abstraites » permet des requêtes de recherche encore plus abstraites
• Certains utilisateurs ont constaté que cet outil est moins efficace que Google pour renvoyer les résultats attendus
• Un utilisateur suggère que l'outil pourrait être amélioré en n'intégrant que les phrases ou paragraphes définitoires, plutôt que l'article Wikipédia complet
• Éloges pour les capacités hors ligne et l'implémentation de l'outil, malgré certaines critiques sur sa précision
• Certains utilisateurs rencontrent des problèmes techniques liés à l'outil, comme des temps de chargement lents
• Mention d'un projet similaire appelé SemanticFinder, qui permet aux utilisateurs de copier-coller un texte de n'importe quelle longueur et renvoie les segments les plus similaires
• Un utilisateur souligne que l'efficacité de l'outil peut être limitée par la qualité de la formulation des sujets dans Wikipédia
• Certains utilisateurs se disent déçus par les résultats de l'outil, tout en reconnaissant la technologie impressionnante qui le sous-tend
• Un utilisateur suggère que l'approche consistant à intégrer des articles entiers n'est peut-être pas la meilleure pour ce type d'application