ChatLLaMA - implémentation open source de ChatGPT basée sur LLaMA

• Le modèle LLaMA récemment publié par Meta n’est pas affiné pour le processus d’entraînement RLHF
• ChatLLaMA est une implémentation de RLHF utilisant LLaMA, entièrement open source, qui permet de créer un service de type ChatGPT
• L’entraînement peut être jusqu’à environ 15 fois plus rapide que celui de ChatGPT
• Prise en charge intégrée de DeepSpeed ZERO pour accélérer le processus de fine-tuning
• Prend en charge les versions 7B, 13B, 33B et 65B de LLaMA, ce qui permet de choisir la taille la plus adaptée à ses besoins

[xguru]

LLaMA - implémentation open source de ChatGPT basée sur LLaMA