CDC File Transfer - outil de synchronisation et de streaming de fichiers de Windows vers Linux

• Fonctionne rapidement et efficacement grâce à FastCDC (Content Defined Chunking)
• Outil utilisé auparavant par Google Stadia
  • En général, les développeurs de jeux développent sous Windows et doivent exécuter sur une machine Linux
  • Pour accélérer les copies dans ce contexte, les outils open source cdc_rsync et cdc_stream ont été créés
• CDC RSync
  • Semblable à rsync existant, mais synchronise environ 3 fois plus vite
  • L’algorithme de diff distant basé sur CDC peut être jusqu’à environ 30 fois plus rapide
  • Ignore le fichier si l’horodatage et la taille sont identiques
  • Utilise une compression rapide pour tous les transferts de données
  • Si un fichier a été modifié, vérifie quelles parties ont changé et ne transfère que les portions modifiées
• CDC Stream
  • Conceptuellement similaire à sshfs, mais optimisé pour la vitesse de lecture, avec un gain d’environ 2 à 5 fois
  • Met en cache sur l’appareil Linux les données streamées
  • Si un fichier a été modifié sous Windows puis relu côté Linux, seules les parties modifiées sont streamées et le reste est lu depuis le cache
  • Les métadonnées de répertoire fonctionnent d’une manière adaptée au streaming, ce qui rend les opérations stat très rapides

[popopo]

J’utilise souvent rsync pour gérer les fichiers de logs, donc si c’est plus rapide, ça m’intéresse.