tts-bench - benchmark pour comparer des modèles TTS en local

• Benchmark open source pour comparer 55 modèles TTS locaux sur n’importe quel matériel selon trois angles
• Structuré autour de trois prismes, Speed (vitesse) / Listen (écoute) / Scores (mesures objectives), avec des mesures sur CPU/CUDA/Apple Silicon
  • Speed mesure la TTFA à froid/à chaud (temps jusqu’au premier audio), le RTF (vitesse par rapport au temps réel) et la mémoire
  • Listen permet de lire en ligne, pour tous les modèles et prompts, la voix par défaut + le clonage, afin de choisir directement à l’oreille
  • Scores évalue UTMOS (naturel), WER (intelligibilité) et SIM (fidélité du clonage) selon la méthode seed-tts-eval
• Un site de démo permet d’écouter tous les modèles sans installation, avec navigation par prompt et par modèle
• Parmi les 55 modèles, 41 prennent en charge le clonage vocal (voice cloning) à partir d’un clip de référence, avec prise en charge de 3 formats de référence (wav seul / wav + transcription / wav HF gated)
• Le coréen n’est pas pris en charge par l’ensemble des 55 modèles, mais des modèles multilingues ou compatibles coréen comme Supertonic, VoxCPM, OmniVoice sont inclus
  • Toutefois, les prompts de benchmark par défaut sont surtout en anglais et en français ; pour évaluer la qualité en coréen, il vaut mieux lancer Listen/compare avec des phrases coréennes séparées et vérifier à l’oreille
  • D’après les tests, Supertonic, VoxCPM et OmniVoice offrent une qualité tout à fait correcte à l’écoute
• Meilleurs résultats au vote A/B sur le clonage — OmniVoice (meilleure correspondance de timbre, mais avec possible écrasement/omission de mots), Echo-TTS (niveau co-n°1, 44.1kHz), IndexTTS-2 (3e, bonne conservation de l’intonation)
• Le code du benchmark est sous licence MIT, chaque modèle TTS conserve sa propre licence