J’ai posé des questions d’arithmétique élémentaire à GPT-NeoX-20B
(twitter.com/moyix)-
Exécution de questions simples d’arithmétique élémentaire sur GPT-NeoX, un modèle open source de la taille de GPT-3
-
Seulement 10 bonnes réponses sur 100. Mais la plupart sont proches du bon résultat
Q: "What is 2653 * 30641?"
A: 82356113 (incorrect)
La bonne réponse est 81290573
- On sait que les « modèles de langage » ne sont fondamentalement pas très bons en mathématiques (probablement en partie à cause de la manière dont les nombres sont tokenisés)
4 commentaires
La vraie bonne réponse est 81290573, et la réponse de GPT-NeoX n’est-elle pas 82356113 ?
J’ai essayé de faire le calcul mental moi-même et j’ai aussi utilisé une calculatrice, et il me semble que la bonne réponse est 81290573 !
(Sur l’image du lien aussi, on peut voir que « Correct » est indiqué comme « No ».
Si je me trompe, n’hésitez pas à me le signaler !)
Ah mince, sniff sniff, on dirait que j’ai inversé l’avant et l’arrière en écrivant. C’est corrigé, sniff.
C’est encore plus surprenant parce que le fait qu’il donne une valeur approchée comme réponse correcte le rend presque humain.
Il y a beaucoup de commentaires détaillés à ce sujet sur HN : https://news.ycombinator.com/item?id=30299360