Le modèle de langage coréen KoGPT de Kakao, ses scores ont été exagérés

• Les performances de KoGPT, la version spécialisée en coréen du modèle GPT-3 de Kakao Brain, ont été publiées comme étant supérieures à leurs scores réels

• En raison d’un problème dans le code, le score évalué sans réinitialisation lors du processus de test a été repris tel quel

• Environ 5 points de moins que le score indiqué dans le rapport... atteinte à l’équité de l’évaluation

[xguru]

• KoGPT - modèle de langage d'IA coréen open source publié https://fr.news.hada.io/topic?id=5407