"Open Pre-trained Transformer Language Model"
- Construire de tels modèles de langage à très grande échelle nécessite un capital considérable, et il est difficile de faire de la recherche lorsqu’on ne publie qu’un accès via API
- Pour les chercheurs intéressés, l’ensemble du modèle, le code expérimental et le journal de bord sont tous mis à disposition en téléchargement
- Son empreinte carbone ne représente qu’un septième de celle de GPT-3
1 commentaires
https://github.com/facebookresearch/metaseq