SeamlessM4T : le modèle de fondation multimodal pour la traduction dévoilé par Meta AI

• Meta AI a dévoilé SeamlessM4T, un modèle de base multilingue et multitâche permettant de traduire et de transcrire de manière fluide entre la parole et le texte
• Il prend en charge la reconnaissance automatique de la parole, la traduction parole-vers-texte, la traduction parole-vers-parole, la traduction texte-vers-texte et la traduction texte-vers-parole pour de nombreuses langues
  • Reconnaissance automatique de la parole pour plus de 100 langues
  • Traduction parole-vers-texte pour plus de 100 langues en entrée et en sortie
  • Traduction parole-vers-parole prenant en charge plus de 100 langues en entrée et 35 langues de sortie (+ l’anglais)
  • Traduction texte-vers-texte pour plus de 100 langues
  • Synthèse vocale avec prise en charge de plus de 100 langues en entrée et de 35 langues de sortie (+ l’anglais)
• Le modèle SeamlessM4T est publié sous licence CC BY-NC 4.0 pour les chercheurs et les développeurs
• Le jeu de données de traduction multimodale SeamlessAlign, d’une durée de 27 heures, est également publié

[ninebow]

Pour aller plus loin

• Article scientifique : https://ai.meta.com/research/publications/seamless-m4t/
• Démo : https://seamless.metademolab.com/
• Dépôt GitHub : https://github.com/facebookresearch/seamless_communication
• Démo HuggingFace : https://huggingface.co/spaces/facebook/seamless_m4t
• (⚠️Publicité⚠️) Lire une présentation un peu plus détaillée sur la communauté coréenne PyTorch