- Les discussions autour de la cloud repatriation — le retour vers du matériel propre depuis le cloud — se multiplient récemment
- Fastmail exploite depuis plus de 20 ans des serveurs bare metal en propre pour optimiser son fonctionnement
- L’usage d’un matériel interne permet d’optimiser les coûts par rapport au cloud :
- Planifier les achats de matériel sur le long terme grâce à une bonne compréhension des schémas d’utilisation
- 25 ans d’expérience accumulée dans le déploiement et l’exploitation de matériel et de réseau
- Dépréciation des coûts avec 5 à 10 ans d’utilisation du matériel
Évolution du matériel
- Les premiers serveurs IMAP utilisaient un RAID composé de disques SAS 15k RPM et SATA 7.2k RPM
- Les données email étaient stockées sur des disques SAS rapides, puis déplacées vers des disques SATA aux heures de faible charge du serveur
- Ce système était pris en charge par Cyrus IMAP et un outil de partitionnement dédié
Migration vers NVMe SSD
- Il y a quelques années, Fastmail a réalisé une mise à niveau majeure vers une plateforme 2U basée sur AMD et des SSD NVMe
- Les performances et la densité de stockage se sont nettement améliorées
- Faute de contrôleurs RAID disponibles, ils ont introduit le système de fichiers ZFS
- ZFS offre d’excellentes performances d’E/S grâce à un modèle Copy-on-write
Compression et tuning ZFS
- L’usage de la compression Zstandard permet d’économiser environ 40% d’espace des données email
- La compression a encore été améliorée en ajustant la taille des enregistrements ZFS :
- Environ 40% d’économie avec une taille d’enregistrement de 128k
- 42% d’économie avec un réglage à 512k
Chiffrement et intégration de ZFS
- Le chiffrement natif de ZFS a remplacé le chiffrement LUKS, réduisant la complexité du système
- L’adoption de ZFS sur tous les serveurs email, bases de données, logs et serveurs de sauvegarde a été achevée en 3 ans
Durée de vie et fiabilité des SSD
- Vérification de la durée de vie et de la fiabilité des SSD :
- Les SSD de datacenter ont enregistré un taux de panne extrêmement faible pendant 3 ans
- Plus de 10 fois plus fiables que les HDD
Comparaison des coûts de stockage
Stockage cloud
- Amazon S3 : 252 000 $ par an
- Backblaze B2 : 72 000 $ par an
- Avantages : stockage illimité, choix parmi de nombreux fournisseurs
- Inconvénients : complexité de déploiement, risque d’augmentation continue des coûts
Mise à niveau HDD
- Coût d’une mise à niveau HDD de 24TB : environ 6 000 $ par serveur
- Avantages : réutilisation du matériel existant, faible coût
- Inconvénients : temps de restauration plus long, performance I/O insuffisante
Serveurs SSD NVMe
- Serveur SSD 2U : 190 000 $ (1220TB de capacité de stockage)
- Avantages : performances I/O élevées, fiabilité, économie d’espace et d’énergie
- Inconvénients : coût initial plus élevé
Choix final et résultats
- Migration vers des serveurs ZFS basés sur NVMe SSD :
- Performance et fiabilité élevées assurées
- Compatible avec le système existant sans nécessiter de nouveaux développements
- Vitesse de transfert des données : supérieure à 5GB/s
Conclusion
- L’exploitation d’un matériel propre ne convient pas à tout le monde, mais elle peut apporter économies de coûts à long terme et un meilleur contrôle
- Fastmail atteint ainsi à la fois stabilité et efficacité économique grâce à son propre matériel
3 commentaires
Je me demande aussi si la disponibilité est assurée au niveau de l’unité AZ.
Soyons honnêtes, une entreprise qui fonctionne bien sans passer par le cloud est presque toujours l’un de deux cas. Soit elle tourne vraiment bien grâce à un excellent niveau de personnel, soit c’est un système à faible disponibilité et à sécurité faible qu’on prend à tort pour quelque chose qui fonctionne.
En Corée, c’est largement le second cas qui domine. Mis à part les métiers qualifiés, on a tendance à sous-estimer les personnes ; dans un tel contexte, il est préférable, à mon avis, de confier l’infrastructure à un CSP étranger qui emploie de bons talents, ou alors d’investir vraiment dans ses équipes.
Honnêtement, si le trafic est stable, ne pas utiliser le cloud peut coûter moins cher. Mais pour avoir une haute disponibilité correcte et une sécurité robuste, avec une exploitation sérieuse, une entreprise doit disposer de compétences capables de faire tourner des serveurs physiques. S’il n’existe pas ce type de profils, il faut utiliser le cloud : une start-up qui ne dispose pas de la capacité d’attirer de tels talents ne le fait pas par hasard.
Même 37signals, qui ne dit pas utiliser le cloud, définit un salaire minimum élevé en mettant l’accent sur les talents, avec un minimum à 70 000 dollars (aujourd’hui, avec le taux de change, plus de 100 millions de wons). Les professionnels IT en Corée sont généralement payés en dessous du seuil minimum de 37signals. Là-bas, l’investissement dans la masse salariale est énorme pour attirer les talents, et ils ont ainsi de bons profils capables de faire tourner un on-premise correctement, mais comme trop d’argent partait vers le cloud, ils sont revenus au bare-metal. C’est aussi ce qui a permis de créer des choses comme Kamal. Vous pensez que les entreprises coréennes ont la capacité de faire un produit comme Kamal ? Si l’on ne veut pas investir dans les personnes, utiliser un CSP comme AWS me paraît être la bonne option. Le fait d’être en on-premise ne signifie pas que l’on est automatiquement en sécurité, comme l’a montré l’incident de piratage de Kadokawa.
Avis sur Hacker News
La raison pour laquelle FastMail a adopté son propre matériel est que, lors de la création de l'entreprise en 1999, il n'y avait pas beaucoup de choix. Ils utilisaient un seul serveur Rackspace, facturé à 70 $ par mois à l'époque. Les alternatives VPS ou SaaS n'étaient pratiquement pas disponibles.
La transition vers le cloud est intéressante. La plupart des gens ne veulent pas s'occuper de la gestion du matériel, mais en termes de coût, un système propriétaire peut être meilleur.
Le cloud est lié à un mouvement de type DevOps «shift-left». L'objectif n'est pas la réduction des coûts.
Je n'ai pas confiance en FastMail. Depuis le rachat de Pobox, leur service de transfert d'e-mails a échoué. Les remboursements ont aussi été refusés.
Il propose BareMetalSavings.com, qui permet d'estimer les économies réalisées en quittant le cloud.
L'approche de FastMail est intéressante. Il mentionne deux points intéressants sur les SSD.
J'apprécie la transparence de FastMail et des décisions logiques. Ça vaut le coup de payer pour un service e-mail.
Beaucoup pensent que l'auto-hébergement vaut mieux que le cloud. Mais il y a peu de discussion sur la façon d'exécuter efficacement des applications métier.
L'un des avantages du cloud est la fiabilité à petite échelle.
FastMail était l'un des meilleurs fournisseurs d'e-mail. Son interface est intuitive et réactive.