PaLM - Pathways Language Model de Google AI avec 540B de paramètres

• Un modèle de 540B de paramètres, soit 3 fois plus grand que GPT-3 (175B)
• Entraîné à l’aide de TPU v4
• L’augmentation de la taille du modèle lui permet de traiter une plus grande variété de tâches (problèmes de mathématiques, explications, génération de code, etc.)

Articles liés

• J’ai posé des questions de calcul élémentaire à GPT-NeoX-20B

[kunggom]

On dirait que Google cherche à combiner ce type de technologie avec des robots, afin de permettre à l’intelligence artificielle d’apprendre aussi le monde physique réel.
https://say-can.github.io/
https://arxiv.org/abs/2204.01691

[xguru]

• Vers où se dirigent les modèles IA NLP géants ?
• GPT-3 n’est désormais plus seul sur le marché
• 2022 AI Index Report

[laeyoung]

Il semble que la tendance "plus les modèles d’IA sont grands, mieux c’est" continue.