Meta (ex-Facebook) publie en open source sa solution de compression haute performance pour l’IA, « OpenZL »

Meta (ex-Facebook) a publié en open source OpenZL, un framework de compression de données haute performance qu’elle utilisait en interne. Optimisé en particulier pour le traitement de vastes jeux de données spécialisés, comme dans les charges de travail d’IA et de machine learning, OpenZL offre à la fois un taux de compression élevé et une grande rapidité, au-delà des limites des solutions de compression généralistes existantes.

Caractéristiques et fonctionnalités

La principale caractéristique d’OpenZL réside dans son approche de compression « Format-Aware », qui génère des compresseurs sur mesure optimisés pour le format des données. En analysant la structure des données pour construire l’algorithme de compression le plus efficace, il atteint un niveau de compression impossible avec des compresseurs généralistes, tout en conservant la vitesse de traitement rapide exigée par les charges de travail en datacenter.

En outre, tous les compresseurs spécialisés générés sont compatibles avec un décompresseur universel unique, ce qui facilite la maintenance du système. Il propose aussi un outil « Trace Visualizer » permettant d’analyser visuellement le processus de compression.

Données de performance (sur les données SAO du corpus de compression Silesia)

Catégorie	OpenZL	zstd -3	xz -9
Taux de compression	x2.06	x1.31	x1.64
Vitesse de compression	203 MB/s	115 MB/s	3.1 MB/s
Vitesse de décompression	822 MB/s	890 MB/s	30 MB/s

La publication en open source d’OpenZL par Meta devrait contribuer à réduire les coûts de stockage et de transfert des données, tout en améliorant fortement l’efficacité opérationnelle dans l’IA et dans divers secteurs où le traitement de gros volumes de données est essentiel.

[xguru]

OpenZL : framework de compression open source capable de reconnaître les formats de fichiers
Consultez aussi la traduction par IA du texte de présentation de Facebook

[t7vonn]

Côté compression, Meta mène clairement la danse. zstd avait déjà marqué une grande avancée.

[darjeeling]

Ils l’utilisaient déjà très bien en interne...
Le fait de le rendre public... ça veut dire qu’il y a encore plus gros qui arrive.