Lancement d’Amazon S3 Files – rendre les buckets S3 accessibles comme des systèmes de fichiers

(aws.amazon.com)

4 points par GN⁺ 22 일 전 | Aucun commentaire pour le moment. | Partager sur WhatsApp

Amazon S3 Files est une fonctionnalité qui permet de monter directement un bucket S3 sous forme de système de fichiers haute performance, afin d’y accéder immédiatement depuis EC2, ECS, EKS, Lambda, etc.
Elle conserve la durabilité et l’efficacité économique du stockage objet, tout en offrant une accessibilité interactive aux fichiers et une faible latence (~1 ms)
Elle prend en charge le protocole NFS v4.1+ et fournit les opérations classiques sur les fichiers, comme la création, la modification et la suppression, ainsi qu’une synchronisation automatique
La sécurité et le contrôle d’accès sont renforcés grâce à l’intégration IAM, au chiffrement TLS 1.3 et au contrôle des autorisations POSIX, avec une supervision possible via CloudWatch et CloudTrail
Elle fournit une base permettant de supprimer les silos de données et d’utiliser S3 comme hub central de données pour les workloads d’IA, de ML et de traitement de données

Présentation d’Amazon S3 Files

Amazon S3 Files est une nouvelle fonctionnalité qui permet aux ressources de calcul AWS d’accéder directement aux buckets Amazon S3 comme à un système de fichiers haute performance
Elle réduit la frontière entre stockage objet et système de fichiers, en conservant la durabilité et l’efficacité économique de S3 tout en offrant une accessibilité interactive aux fichiers
Plusieurs ressources de calcul peuvent partager les mêmes données sans duplication, et les modifications sont automatiquement synchronisées avec le bucket S3
Elle prend en charge une latence d’environ 1 ms et le protocole NFS v4.1+
Les données S3 sont accessibles nativement sous forme de système de fichiers depuis divers services AWS comme EC2, ECS, EKS ou Lambda

Le système de fichiers présente les objets S3 sous forme de fichiers et de répertoires, et prend en charge les opérations classiques comme la création, la lecture, la modification et la suppression
Les fichiers fréquemment consultés sont mis en cache sur un stockage haute performance pour une faible latence, tandis que les fichiers volumineux lus séquentiellement sont diffusés directement depuis S3
La fonction de lecture par plage d’octets (byte-range read) n’envoie que la partie demandée, ce qui réduit les volumes de données déplacées et les coûts
Le préchargement intelligent (prefetching) anticipe les modèles d’accès pour optimiser les performances
Il est possible de choisir de charger l’intégralité d’un fichier ou seulement ses métadonnées, ce qui permet un contrôle fin du cache

En interne, le service repose sur Amazon Elastic File System (EFS) et offre environ 1 ms de latence pour les données actives
Il prend en charge l’accès concurrent depuis plusieurs ressources de calcul et conserve le modèle de cohérence NFS close-to-open
Il convient aux tâches de partage basées sur les fichiers, comme la collaboration entre agents IA, les pipelines d’entraînement ML et les workloads de traitement de données

Après avoir préparé une instance EC2 et un bucket S3 standard, il est possible de créer un système de fichiers S3 et de configurer une cible de montage depuis la console ou la CLI
Le montage sur EC2 peut ensuite être effectué avec les commandes suivantes
- sudo mkdir /home/ec2-user/s3files
- sudo mount -t s3files fs-0aa860d05df9afdfe:/ /home/ec2-user/s3files
Il est ensuite possible de manipuler directement les données S3 depuis le répertoire ~/s3files avec les commandes de fichiers standard
Lorsqu’un fichier est modifié, le changement est automatiquement répercuté dans le bucket S3 en quelques minutes, tandis que les modifications du bucket sont répercutées dans le système de fichiers en quelques secondes

L’intégration avec AWS Identity and Access Management (IAM) permet un contrôle d’accès au niveau du système de fichiers comme au niveau des objets
Les données sont chiffrées en transit avec TLS 1.3 et, au repos, avec SSE-S3 ou des clés AWS KMS
Le service utilise le modèle d’autorisations POSIX pour appliquer un contrôle d’accès fondé sur les UID/GID
Amazon CloudWatch permet de superviser les performances et les mises à jour, et AWS CloudTrail journalise les événements d’administration
Sur les instances EC2, l’installation du package amazon-efs-utils le plus récent est nécessaire (inclus par défaut dans les AMI AWS)
Les buckets S3 peuvent aussi être montés comme système de fichiers de la même manière depuis ECS, EKS, Fargate ou Lambda

S3 Files convient aux workloads qui doivent accéder aux données stockées dans S3 via une interface de système de fichiers interactive et partagée
- Exemples : applications de production, agents IA basés sur Python, pipelines d’entraînement ML, etc.
Amazon FSx convient davantage aux migrations d’environnements NAS on-premise ou aux cas nécessitant des fonctions spécifiques de système de fichiers
- FSx for Lustre : stockage haute performance pour les clusters HPC et GPU
- FSx for NetApp ONTAP / OpenZFS / Windows File Server : à utiliser lorsqu’une compatibilité spécifique avec un système de fichiers est requise

S3 Files est immédiatement disponible dans toutes les régions AWS commerciales
La facturation porte sur les éléments suivants
- le volume de données stocké dans le système de fichiers
- la lecture des petits fichiers et toutes les opérations d’écriture
- les requêtes S3 générées lors de la synchronisation entre le système de fichiers et le bucket S3
Les tarifs détaillés sont disponibles sur la page de tarification Amazon S3

S3 Files contribue à supprimer les silos de données, à réduire la complexité de la synchronisation et à éliminer les déplacements manuels de données entre objets et fichiers
Il permet d’exploiter directement les données S3 dans des workloads IA, ML et data engineering qui utilisent des outils ou scripts fondés sur un système de fichiers
Il permet aussi de centraliser toutes les données d’une organisation dans S3 et d’en faire un hub central directement accessible depuis toutes les ressources de calcul AWS