DeepSpeed - la bibliothèque d’optimisation du deep learning publiée par Microsoft

• Un wrapper léger au-dessus de PyTorch

• Des modifications de code minimales, des modèles plus de 10 fois plus grands, et une vitesse plus de 5 fois supérieure

• Réduction de la mémoire utilisée pendant l’entraînement (x4) grâce à l’application de Zero Redundancy Optimizer (ZeRO)