Qu’est-ce qu’une base de données vectorielle ?

• Les applications d’IA dépendent des vector embeddings
  • Les embeddings sont générés par des modèles d’IA et, comme ils comportent un grand nombre d’attributs/caractéristiques, ils sont difficiles à gérer
  • En IA et en ML, ces caractéristiques représentent les différentes dimensions des données, essentielles pour comprendre les motifs, les relations et la structure sous-jacente
• Les bases de données vectorielles comme Pinecone sont des bases de données spécialisées pour stocker et interroger de manière optimisée ces données d’embeddings
• Grâce à une base de données vectorielle, il est possible d’implémenter dans l’IA des fonctions avancées comme la recherche d’information sémantique ou la mémoire à long terme
  • Génération des vector embeddings du contenu à indexer via un modèle d’embedding
  • Insertion des vector embeddings dans la base de données vectorielle, avec une référence au contenu d’origine indiquant où l’embedding a été généré
  • Lorsqu’une application effectue une requête, elle génère l’embedding correspondant avec le même modèle d’embedding, puis recherche dans la base de données des vector embeddings similaires à partir de cet embedding
  • Ces embeddings sont liés au contenu d’origine

Différence entre un Vector Index et une base de données vectorielle

• Un index vectoriel comme FAISS (Facebook AI Similarity Search) améliore aussi la recherche de vector embeddings, mais ne possède pas les fonctionnalités d’une base de données
• Une base de données vectorielle présente plusieurs avantages
  • Fonctions de gestion des données : insertion, suppression et mise à jour faciles des données
  • Stockage et filtrage des métadonnées : possibilité de stocker des métadonnées pour chaque vecteur
  • Scalabilité : fournit des capacités de traitement distribué et parallèle
  • Prise en charge des mises à jour en temps réel
  • Fonctions de sauvegarde et de collections (sauvegarde sélective de certains index uniquement)
  • Intégration à l’écosystème : connexion avec ETL (Spark), outils d’analyse (Tableau, Segment), visualisation (Grafana), ainsi qu’avec des outils d’IA (LangChain, LlamaIndex, ChatGPT Plugins)
  • Sécurité des données et gestion des droits d’accès

Comment fonctionne une base de données vectorielle ? (seuls les sous-titres sont repris)

• Algorithmes : ANN, Random Projection, Product Quantization, Locality-sensitive hashing, Hierarchical Navigable Small World (HSNW)
• Mesure de similarité
• Filtrage
• Opérations de base de données

Résumé

• Avec la croissance explosive des vector embeddings dans le NLP, la computer vision et d’autres applications d’IA, les bases de données vectorielles ont émergé
• Les bases de données vectorielles ont été conçues spécifiquement pour résoudre les problèmes qui apparaissent lorsqu’on gère des vector embeddings dans des scénarios de production
• Elles offrent des avantages significatifs par rapport aux bases de données traditionnelles fondées sur des scalaires et aux index vectoriels autonomes