AWS a remplacé la compression de S3 de gzip par zstd, réduisant la taille d’environ 30 %

• En réponse à une question sur l’ampleur de la réduction du superflu apportée par zstd, créé par Yann Collet, Adrian Cockcroft a expliqué ceci
• À l’échelle de l’exaoctet de S3, 30 % représente une économie de coûts énorme
• Twitter aussi aurait économisé chaque année plusieurs dizaines de milliards de wons (~ mid 8 figs/yr) en passant à zstd sur HDFS

[alstjr7375]

Uber est également passé de GZIP/SNAPPY à ZSTD.
https://www.uber.com/en-TW/blog/cost-efficiency-big-data/

[jaehong747]

zstd est impressionnant !

Il y a dans le lien un document comparatif sur les performances de compression, donc je le partage.
https://github.com/facebook/zstd

[jaehong747]

J’ai utilisé zstd pour la première fois aujourd’hui.
Il était apparemment déjà intégré par défaut sur mac.

Compresser : zstd file => file.zst
Décompresser : unzstd file.zst => file

[xguru]

• Renaissance des algorithmes de compression
• Retour d’expérience sur des économies de plusieurs millions de dollars en coûts SSD grâce à une mise à niveau du système de fichiers
• Arch Linux remplace l’outil de compression des paquets xz par Zstandard