DwarFS - Système de fichiers en lecture seule à haut taux de compression

 (github.com)
7 points par xguru 2020-12-01 | 1 commentaires | Partager sur WhatsApp

  • Vise à atteindre un taux de compression élevé pour les données dupliquées

  • Offre une meilleure compression que SquashFS (un système de fichiers en lecture seule largement utilisé dans les distributions Linux) et construit le système de fichiers 4 fois plus vite

  • L’accès aux fichiers est rapide et utilise moins de CPU

  • Regroupement de fichiers à l’aide d’une fonction de hachage de similarité

  • Analyse de segments au niveau des blocs pour réduire la taille du système de fichiers décompressé. Lors de l’utilisation du système de fichiers compressé, la mémoire est économisée, ce qui permet de stocker davantage de données dans le cache et d’obtenir potentiellement un meilleur taux de réussite du cache

  • Implémentation hautement multithreadée à la fois pour l’outil de création du système de fichiers et le pilote FUSE

  • Prise en charge de Lua pour des fonctions personnalisées de filtrage et de tri

À lire aussi

1 commentaires

 
xguru 2020-12-01

Le développeur explique qu’il a commencé ce projet parce que des milliers d’installations Perl prenaient énormément d’espace… (moi non plus, je ne vois pas très bien pourquoi c’était nécessaire)

Ça a l’air d’être un système de fichiers parfait pour des images Docker ou des dépôts npm avec beaucoup de fichiers dupliqués.