Facebook publie en open source un modèle capable de traduire 100 langues sans dépendre de l’anglais

M2M-100 est un modèle de MMT (Multilingual Machine Translation) qui,

pour la première fois, permet la traduction bidirectionnelle entre 100 langues sans dépendre de données en anglais.

La plupart des traductions passent par l’anglais, langue pour laquelle les données d’entraînement sont les plus abondantes, mais ce modèle traduit directement, ce qui permet de mieux préserver le sens.

Il affiche des résultats supérieurs de plus de 10 % au score BLEU (Bilingual Evaluation Understudy).

Il a été entraîné sur un total de 2 200 directions linguistiques, soit 10 fois plus que les anciens meilleurs modèles multilingues centrés sur l’anglais.

M2M-100 permet d’améliorer la qualité de traduction pour les personnes qui utilisent des langues disposant de peu de ressources.

L’article partage des détails sur le jeu de données d’entraînement MMT et sur la méthode de construction du modèle,

ainsi que le modèle, les méthodes d’entraînement et d’évaluation afin que d’autres chercheurs puissent reproduire et améliorer de meilleurs modèles multilingues.

Le fichier du modèle entraîné avec 12 milliards de paramètres peut être téléchargé (136 GB)