sqlite-vec - Extension de recherche vectorielle pour SQLite

• Extension de recherche vectorielle très légère et « suffisamment rapide » pour SQLite
• Permet de stocker et d’interroger des vecteurs float, int8 et binaires dans la table virtuelle vec0
• Écrite en C pur, sans dépendances, et fonctionne partout où SQLite s’exécute : Linux/MacOS/Windows, navigateur (WASM), Raspberry Pi, etc.
• Préfiltrage possible des vecteurs avec une sous-requête rowid IN(...)
• Successeur de sqlite-vss

[xguru]

Développement en cours d’une extension de recherche vectorielle pour SQLite Un billet à ce sujet avait été publié il y a 3 mois, et cette fois la sortie a eu lieu.

Avis sur Hacker News

• sqlite-vec fonctionne sur macOS, Linux, Windows, Raspberry Pi, navigateurs WASM et appareils mobiles

  • C’est une solution de recherche vectorielle par force brute très rapide
  • Une fonctionnalité expérimentale permet d’interroger directement des vecteurs en mémoire
  • Les performances sont compétitives face à faiss, usearch et duckdb

• Plus de détails sont disponibles dans le billet de blog d’Alex

  • Lien : https://alexgarcia.xyz/blog/2024/sqlite-vec-stable-release/index.html

• Je l’ai utilisé dans un jeu vidéo, et c’était excellent

• Je cherchais quelque chose de ce genre. C’est utile pour les moteurs de recommandation, le matching musical et le matching de perceptual hashes

• J’ai déjà fait quelque chose de similaire avec duckDB comme backend

  • Lien : https://github.com/patricktrainer/duckdb-embedding-search

• J’aime beaucoup ce projet

  • Il a probablement fallu beaucoup d’efforts pour résoudre les problèmes de dépendances
  • J’aimerais l’utiliser dans mon propre projet

• J’ai des cas d’usage pour cette fonctionnalité

  • Merci à AlexG pour tous les efforts investis
  • La documentation est également excellente

• Lien connexe : https://news.ycombinator.com/item?id=40243168

• Je suis actuellement un tutoriel RAG qui utilise postgreSQL et pgvector

  • Je pense pouvoir le reproduire avec SQLite et sqlite-vec
  • Lien : https://www.lycee.ai/courses/91b8b189-729a-471a-8ae1-717033c77eb5/chapters/a8494d55-a5f2-4e99-a0d4-8a79549c82ad

• Cette fonctionnalité semble utile. Je fais beaucoup d’analyses textuelles ponctuelles sur mon ordinateur portable