Turing-NLG, le modèle de langage à 17 milliards (17b) de paramètres dévoilé par MS

• Basé sur Transformer

• Le plus grand modèle à ce jour, avec plus de 10 fois le nombre de paramètres de BERT-Large 340M, RoBERTa 355M et OpenAI GPT-2 1.5b

• Rendu possible grâce à DeepSpeed et ZeRO

Il est même indiqué que le texte de résumé sur la page de présentation a lui-même été généré par Turing-NLG.

"Turing Natural Language Generation (T-NLG) is a 17 billion parameter language model by Microsoft that outperforms the state of the art on many downstream NLP tasks. We present a demo of the model, including its freeform generation, question answering, and summarization capabilities, to academics for feedback and research purposes."