YaLM 100B - un modèle de langage de type GPT avec 100 milliards de paramètres
(github.com/yandex)- Rendu public par Yandex, il peut être utilisé gratuitement par tous les développeurs et chercheurs
- Entraîné sur 1,7 To de textes en anglais et en russe pendant 65 jours avec 800 GPU A100
- Basé sur le code de Megatron-LM de Microsoft
Aucun commentaire pour le moment.