- Premier stockage objet du cloud à prendre en charge nativement les vecteurs
- Peut réduire jusqu’à 90 % les coûts de stockage, d’ingestion et de requête des données vectorielles, avec des performances de requête en moins d’une seconde
- Introduction des concepts de vector buckets et de vector indexes pour optimiser le stockage et la recherche de données vectorielles à grande échelle pour les workloads d’IA générative, comme les embeddings et le RAG
- Intégration avec des services AWS comme Amazon Bedrock, SageMaker et OpenSearch, permettant une gestion des vecteurs et une recherche en temps réel équilibrant coûts et performances
- Sans déployer d’infrastructure, prise en charge de nombreux scénarios d’usage via la console, la CLI, les SDK et les API pour stocker, gérer, interroger, exporter et intégrer facilement des données vectorielles
Qu’est-ce qu’Amazon S3 Vectors ?
- Amazon S3 Vectors est un nouveau stockage dédié de S3 permettant de stocker de très grands jeux de données vectorielles et d’offrir une recherche vectorielle rapide (semantic/similarity search)
- Il est conçu pour gérer efficacement les données vectorielles (embeddings) souvent utilisées en IA générative
- Il introduit un nouveau type de bucket S3 appelé vector bucket ; chaque vector bucket peut contenir jusqu’à 10 000 vector indexes, et chaque index peut stocker des dizaines de millions de vecteurs
- Prend en charge l’ajout de métadonnées (key-value) à chaque vecteur, avec possibilité de requêtes filtrées selon des conditions
Optimisation des coûts, des performances et automatisation
- Peut réduire jusqu’à 90 % les coûts d’ingestion, de stockage et de requête des données vectorielles
- Même lorsque les données grossissent, S3 Vectors s’optimise automatiquement pour maintenir durablement le coût et les performances
- Prend en charge les métriques de distance Cosine/Euclidean, offrant un environnement de recherche flexible compatible avec les modèles d’embeddings IA
Intégration avec les services AWS et l’infrastructure IA
- Intégration native avec Amazon Bedrock Knowledge Bases, utilisable directement dans SageMaker Unified Studio
- Connexion à OpenSearch Service pour conserver les données longue durée ou peu consultées dans S3 et migrer les recherches fréquentes ou en temps réel vers OpenSearch (collections vectorielles serverless)
- Adapté à divers cas d’usage IA, comme les systèmes de recommandation, le RAG, l’analyse de documents et les recommandations personnalisées
Principales méthodes d’utilisation
Création de vector buckets et d’indexes
- Créer un vector bucket depuis le menu Vector buckets dans la console
- Il est possible de définir les options de chiffrement lors de la création du bucket (SSE-S3, SSE-KMS)
- Ajouter des vector indexes à chaque bucket, avec définition du nombre de dimensions et de la métrique de distance pour chaque index
Insertion et requêtes de données vectorielles
- Utiliser AWS CLI, SDK et REST API pour insérer et gérer des vecteurs
- Générer des embeddings de texte avec Amazon Bedrock puis insérer les vecteurs dans S3 Vectors
- Exemple : après génération d’un embedding avec
boto3, téléverser les données dans un index via l’API s3vectors.put_vectors
- Possibilité d’effectuer des requêtes par conditions, par exemple sur le genre ou la catégorie, à l’aide des métadonnées
Intégration avec OpenSearch et export
- Migrer un index S3 Vector vers OpenSearch depuis la console avec Export to OpenSearch
- Création automatique d’une collection serverless, avec extension vers des workloads de recherche vectorielle et d’analyse en temps réel
Principales caractéristiques et environnements pris en charge
- Les S3 Vector buckets sont chiffrés par défaut (SSE-S3), avec prise en charge optionnelle de KMS
- Utilisation automatisée et programmatique via CLI/SDK/REST API
- Régions actuellement disponibles en preview : Est/Ouest des États-Unis, Europe (Francfort), Asie (Sydney)
Intégration et scénarios d’utilisation
- Prend en charge de nombreux cas d’usage vectoriels selon les secteurs, notamment RAG, mémoire d’agent, recherche par similarité/sémantique, analyse intelligente de documents, recommandations personnalisées et analyse automatique de contenu
- En s’intégrant à l’écosystème AWS, notamment OpenSearch, SageMaker et Bedrock, il devient possible de construire des solutions IA basées sur les vecteurs, économiques et extensibles à grande échelle
Références et ressources complémentaires
Aucun commentaire pour le moment.