Speakz - un outil de doublage IA conçu pour regarder des vidéos en langue étrangère avec sa fille de 7 ans

Speakz : service de traduction multimédia multilingue

• Traduit une vidéo dans une langue vers une autre langue afin de générer une nouvelle piste audio
• Préserve la voix d’origine, les autres sons ou la musique de fond tout en harmonisant le sens, la personnalité et le timing pour offrir une traduction naturelle et authentique
• Le développeur, un Allemand, a créé l’outil pour que lui-même et sa fille de 7 ans puissent profiter de contenus YouTube en allemand

Langues prises en charge et vitesse de traduction

• Langues de sortie : prise en charge de l’anglais, du chinois, de l’espagnol, de l’arabe, du français, du russe, de l’allemand, de l’italien, du coréen, du polonais et du néerlandais
• Langues d’entrée : prend en charge en plus diverses langues comme l’hindi, le bengali et le portugais
• Il faut environ 1 heure pour traduire une vidéo de 30 minutes, avec une possibilité d’évolution vers la traduction en temps réel et le streaming

Usages pour les créateurs et les utilisateurs ordinaires

• Les créateurs peuvent utiliser Speakz pour toucher une audience plus large avec leur contenu existant
• YouTube prend en charge l’ajout de plusieurs pistes audio à une vidéo, ce qui permet d’ajouter automatiquement des pistes audio en différentes langues via Speakz
• Les utilisateurs ordinaires peuvent également rejoindre la bêta privée pour faire traduire les vidéos de leur choix

Coût et participation à la bêta privée

• Le tarif n’est pas encore définitif, mais il devrait être d’environ 5 dollars par heure et par langue
• Il pourrait y avoir des réductions pour la traduction d’une même vidéo en plusieurs langues ou des remises en volume pour les créateurs
• Les utilisateurs souhaitant participer à la bêta privée peuvent s’inscrire via le site web

L’avis de GN⁺

• Speakz est un outil utile à la fois pour les utilisateurs qui veulent consommer des contenus multilingues et pour les créateurs visant le marché mondial
• La traduction en temps réel a le potentiel de faire tomber la barrière de la langue lors des live streams ou des événements en direct
• Parmi les autres services proposant des fonctions similaires, on peut citer les sous-titres automatiques de Google ou des plateformes de traduction communautaire comme Amara
• Lors de l’adoption de Speakz, il faut prendre en compte la précision de la traduction et les nuances culturelles
• L’avantage de cette technologie est l’accessibilité à des contenus sans barrière linguistique, mais il faut aussi considérer le coût et la qualité de traduction

[GN⁺]

Avis Hacker News

• En Allemagne, la plupart des vidéos sont doublées, mais selon un avis, un enfant de 7 ans peut aussi lire des sous-titres, ce qui constitue une bonne manière d’apprendre l’anglais. En Suède, on dit que la plupart des enfants apprennent l’anglais de cette façon avant même d’entrer à l’école. Il est également avancé qu’il existe une forte corrélation selon laquelle plus le doublage est courant dans un pays, plus le niveau moyen d’anglais tend à être faible.
  • Les exemples sur le site sont impressionnants, et quelqu’un demande comment sont gérées la séparation des locuteurs et la clonage vocal. Il suppose que le processus pourrait inclure un découpage par phrase à l’aide de la reconnaissance vocale et d’indices temporels, l’utilisation d’un moteur de traduction pour proposer plusieurs versions, le clonage de la voix d’origine quelle que soit la langue, puis la sélection de la traduction correspondant le mieux au timing.
• Une demande propose d’ajouter un anglais simplifié comme langue de sortie. Cela permettrait d’adapter la complexité de la langue au niveau des enfants et de réduire progressivement l’assistance.
• Un russophone fait l’éloge du doublage de l’exemple avec Lex, qu’il juge très proche de la réalité. Ce n’est pas encore au niveau d’un doublage professionnel, mais c’est très bon, et très proche aussi des voix de Lex et d’Elon.
• Un utilisateur ayant déjà travaillé sur une solution de génération automatique de sous-titres salue le projet de doublage automatique. Il explique que le doublage automatique nécessite des ajustements manuels pour offrir un résultat confortable au public, et qu’il se concentre sur la mise à disposition d’un éditeur avancé permettant d’affiner le doublage sans devoir revenir à un logiciel de montage.
• Un commentaire exprime son admiration pour le projet et indique qu’il serait prêt à payer vidéo par vidéo. Parmi les retours sur la page, il signale que les vidéos continuent à se lire, ce qui rend difficile la comparaison du même passage dans différentes langues. Il mentionne aussi des erreurs de traduction, des problèmes de timing et le fait que certaines parties de l’audio original ne sont parfois pas traduites.
• Quelqu’un dit n’avoir rencontré le doublage néerlandais que dans des programmes télévisés pour enfants, mais estime que le modèle néerlandais doit encore être amélioré. En particulier, le doublage d’un documentaire taïwanais était difficile à comprendre. Il s’interroge sur la raison de l’inclusion du néerlandais, en notant que la plupart des néerlandophones comprennent déjà l’anglais.
• Il est souligné que dans de nombreux pays où les films et émissions TV ne sont pas doublés, comme la Grèce, les personnes malvoyantes ou dont la vue baisse avec l’âge ne peuvent regarder que des films et programmes produits localement si elles ne parlent pas bien anglais. Le projet est jugé capable d’aider à résoudre ce problème.
• Un commentaire salue l’ingéniosité de la méthode de synchronisation audio et demande quels modèles sont utilisés.
• Quelqu’un dit s’être déjà demandé si les sous-titres anglais en regardant du contenu allemand étaient générés par IA. Parfois, ils lui semblent plus confus que l’allemand lui-même et donnent l’impression d’avoir été générés automatiquement plutôt que traduits par un vrai traducteur utilisant des indices de contexte, entre autres.