Garage - stockage d’objets distribué open source compatible S3

 (git.deuxfleurs.fr)
25 points par xguru 2024-07-22 | 2 commentaires | Partager sur WhatsApp
  • Service de stockage d’objets distribué compatible Amazon S3, conçu pour l’auto-hébergement de petite et moyenne échelle
  • Conçu pour les clusters de stockage composés de nœuds exécutés sur différents sites physiques
    • Prend en charge le multi-site tout en restant léger
    • Haute résilience : robuste face aux pannes réseau, à la latence réseau, aux pannes de disque et aux erreurs d’administration système
  • Fournit un binaire sans dépendances fonctionnant sur toutes les distributions Linux
  • Déploiement rapide, exploitation sûre : pensé pour les administrateurs système
  • Fonctionnalités prises en charge
    • Compatible avec l’API S3 (pas entièrement)
    • Geo-distribution : stockage de copies des données sur plusieurs sites pour la reprise après incident
    • Déploiement simple. Aucune dépendance externe
    • Topologie flexible : ajout/suppression facile de nœuds avec rééquilibrage automatique
    • Prise en charge de plusieurs modes de réplication : 1,2,3,5,7,,,
    • Déduplication et compression optionnelle (Zstd)
    • Sans RAFT, qui ralentit les performances
    • Serveur web pour l’hébergement de sites web statiques
    • Un bucket peut posséder plusieurs alias
    • API d’administration du cluster
    • Fournit des métriques au format de données Prometheus
    • Intégration avec Kubernetes et Nomad
    • Prise en charge du changement d’IP
    • API K2V (expérimentale) : API de stockage clé/valeur

À lire aussi

2 commentaires

 
sftblw 2024-07-22

Le site officiel est https://garagehq.deuxfleurs.fr/.
 
xguru 2024-07-22

Avis Hacker News

  • Après avoir utilisé Minio pendant 2 ans, passage à Garage

    • Minio a des difficultés à gérer les petits fichiers
    • Les SSD atténuent le problème dans une certaine mesure, mais pas les HDD
    • Même en mode synchrone, Minio subit une baisse de performances
    • Après la migration vers Garage, gain de performances de 20 à 30 fois constaté

  • Besoin d’un stockage de blobs adressé par le contenu

    • Stocker des blobs immuables via leur hash permet de réduire la complexité et le surcoût de performances
    • Combiné à une suppression logicielle, toutes les opérations deviennent idempotentes, et les blobs sont facilement cachables
    • Il existe des solutions à grande échelle comme IPFS, mais il faut un remplaçant de S3 pour des déploiements locaux

  • Utilisation de Garage depuis longtemps, mais le protocole AWS sigv4 est contraignant

    • Souhait d’envoyer la clé API dans les en-têtes
    • Souhait d’échanger des fichiers sans utiliser le SDK AWS
    • Aucun intérêt pour les avantages de sécurité d’AWS sigv4
    • Demande d’envisager un autre mode d’authentification

  • SeaweedFS est également excellent

  • La faible consommation mémoire de Garage est très appréciée

    • Besoin d’une fonction de sauvegarde automatique de certains buckets vers AWS S3

  • Garage prend en charge la réplication du stockage par paires

    • Avec un disque de 10 Go et un disque de 1 To, seul un mirroring de type RAID1 est pris en charge
    • La capacité de stockage est limitée à 10 Go

  • Apache Ozone est une alternative de stockage objet fonctionnant sur Hadoop

  • Besoin d’une solution simple avec compatibilité S3 en local

    • Curiosité quant à d’éventuelles recommandations pour le développement et les tests