MS et Nvidia annoncent MT-NLG 530B, le plus grand modèle de langage au monde

• Megatron-Turing Natural Language Generation

• 530 milliards de paramètres, soit plus que les 175 milliards de GPT-3

• Affiche une précision sans comparaison avec l’existant

→ complétion de phrases, compréhension, raisonnement de bon sens, inférence en langage naturel, etc.

• 105 couches, basé sur un Transformer

• GPU NVIDIA A100 Tensor Core & réseau HDR InifiniBand

• Sur les clusters de supercalcul NVIDIA Selene et Microsoft Azure NDv4