- Le modèle LLaMA récemment publié par Meta n’est pas affiné pour le processus d’entraînement RLHF
- ChatLLaMA est une implémentation de RLHF utilisant LLaMA, entièrement open source, qui permet de créer un service de type ChatGPT
- L’entraînement peut être jusqu’à environ 15 fois plus rapide que celui de ChatGPT
- Prise en charge intégrée de DeepSpeed ZERO pour accélérer le processus de fine-tuning
- Prend en charge les versions 7B, 13B, 33B et 65B de LLaMA, ce qui permet de choisir la taille la plus adaptée à ses besoins
Aucun commentaire pour le moment.