DeepSpeed Chat - Framework d’entraînement de modèles de type ChatGPT avec RLHF
(github.com/microsoft)- Framework système open source rapide, économique et évolutif
- Permet de créer des modèles de style ChatGPT de haute qualité à toutes les échelles via un RLHF (Reinforcement Learning Human Feedback) de bout en bout
- En un clic, permet d’entraîner, générer et servir un modèle ChatGPT de 1,3B de paramètres en 1,36 heure avec un seul GPU NVIDIA A6000 doté de 48 Go de mémoire
- Utilisé notamment par Databricks Dolly, CarperAI-TRLX et Huggingface-PEFT
1 commentaires
DeepSpeed - bibliothèque d’optimisation du deep learning publiée par Microsoft
Databricks publie en open source Dolly 2.0, similaire à ChatGPT