API Apple SpeechAnalyzer : benchmark comparatif avec Whisper et l’ancienne API

 (get-inscribe.com)
1 points par GN⁺ 4 시간 전 | 1 commentaires | Partager sur WhatsApp
  • Sur un Apple M2 Pro, le traitement de 5 559 fichiers audio LibriSpeech avec le même code de production a montré que SpeechAnalyzer était plus précis que tous les moteurs testés, avec un taux d’erreur de mots (WER) de 2,12 % sur les voix propres et de 4,56 % sur les voix très bruitées
  • Le WER de l’ancien SFSpeechRecognizer était respectivement de 9,02 % et 16,25 % ; la nouvelle API réduit les erreurs de 3,5 à 4 fois sur les mêmes voix, tout en appliquant la ponctuation et la casse
  • SpeechAnalyzer était plus précis que Whisper Small et environ 3 fois plus rapide, mais sa prise en charge est limitée à environ 30 locales et aux plateformes Apple sous OS 26 ou version ultérieure
  • Tous les moteurs ont fonctionné environ 12 à 40 fois plus vite que le temps réel sur M2 Pro, traitant 1 heure d’audio en 1,5 à 5 minutes, mais les vitesses précises par moteur n’ont pas été publiées car l’environnement exécutait aussi des tâches de développement
  • Si vous transcrivez actuellement de l’anglais en local sur iPhone ou Mac, SpeechAnalyzer peut devenir le choix prioritaire ; Inscribe a également modifié ses réglages par défaut pour utiliser SpeechAnalyzer pour les langues prises en charge, et Whisper pour les autres

Résultats du benchmark de précision

  • Le taux d’erreur de mots (WER) correspond à la proportion de mots que le moteur remplace, omet ou invente à tort ; plus il est bas, plus le moteur est précis
  • Tous les moteurs ont été exécutés entièrement sur l’appareil avec un Apple M2 Pro 32 Go et macOS 26.5.1
  • Deux jeux d’évaluation de LibriSpeech ont été utilisés
    • test-clean : 2 620 échantillons de voix lues proprement
    • test-other : 2 939 échantillons plus difficiles et plus bruités
  • Les WER et tailles de modèles par moteur sont les suivants
    • Apple SpeechAnalyzer : test-clean 2,12 %, test-other 4,56 %, modèle système
    • Whisper Small : 3,74 %, 7,95 %, environ 460 Mo
    • Whisper Base : 5,42 %, 12,51 %, environ 140 Mo
    • Whisper Tiny : 7,88 %, 17,04 %, environ 40 Mo
    • Apple SFSpeechRecognizer : 9,02 %, 16,25 %, modèle système
  • Apple a remplacé SFSpeechRecognizer par SpeechAnalyzer et SpeechTranscriber dans iOS 26 et macOS 26, mais n’a pas publié de chiffres de précision
  • Inscribe fournit à la fois les deux moteurs Apple et trois modèles Whisper, ce qui a permis de comparer les cinq moteurs sur le même ordinateur, les mêmes voix et le même chemin de code de production

Pourquoi migrer depuis SFSpeechRecognizer

  • SpeechAnalyzer réduit le WER de 3,5 à 4 fois par rapport à l’ancienne API sur les mêmes voix
    • Voix propres : baisse de 9,02 % à 2,12 %
    • Voix bruitées : baisse de 16,25 % à 4,56 %
  • Au-delà de la précision, il produit un texte avec ponctuation et casse, ce qui donne un résultat mieux structuré que l’ancien moteur
  • Pour transcrire une même durée de 1 heure, l’ancienne API reconnaît mal environ 4 fois plus de mots que SpeechAnalyzer
  • Pour les apps qui traitent de l’audio plus long que de simples commandes vocales, l’écart de précision suffit à lui seul à justifier une migration

Critères de choix entre SpeechAnalyzer et Whisper

  • SpeechAnalyzer affiche un WER inférieur à Whisper Small, le plus grand modèle Whisper testé, sur les deux jeux de données
  • Son temps de calcul par seconde d’audio est aussi environ trois fois inférieur à celui de Whisper Small, le plaçant devant à la fois en précision et en vitesse
  • Pour traiter de l’anglais sur du matériel Apple, SpeechAnalyzer présente les meilleurs résultats parmi les moteurs on-device testables
  • Whisper conserve deux avantages
    • Il prend en charge beaucoup plus de langues, là où SpeechTranscriber prend en charge environ 30 locales
    • Il peut s’exécuter dans de nombreux environnements, sans être limité aux plateformes Apple sous OS 26 ou version ultérieure
  • Le moteur Auto d’Inscribe a été modifié sur la base des mesures afin d’utiliser en priorité SpeechAnalyzer pour les langues prises en charge, et Whisper pour les autres

Vitesse de traitement et limites de mesure

  • Les cinq moteurs ont tous fonctionné environ 12 à 40 fois plus vite que le temps réel sur M2 Pro
  • 1 heure d’audio pouvait être transcrite on-device en environ 1,5 à 5 minutes
  • SpeechAnalyzer a obtenu un WER plus bas tout en étant environ 3 fois plus rapide que Whisper Small
  • Pendant les mesures de précision, des tâches de développement tournaient aussi sur le même ordinateur, ajoutant du bruit aux temps de traitement par moteur
    • Cette charge de travail n’a pas d’effet sur le WER
    • Un tableau détaillé des vitesses par moteur sera ajouté après de nouvelles mesures dans un environnement dédié et inactif

Reproductibilité et données publiques

  • Les mesures Whisper sont proches des résultats LibriSpeech publiés par OpenAI, ce qui a permis de vérifier la cohérence du banc de test
    • Whisper Tiny test-clean : mesure 7,88 %, OpenAI 7,6 %, écart +0,28 point
    • Whisper Base test-clean : 5,42 %, 5,0 %, +0,42 point
    • Whisper Small test-clean : 3,74 %, 3,4 %, +0,34 point
    • Whisper Tiny test-other : 17,04 %, 16,9 %, +0,14 point
    • Whisper Base test-other : 12,51 %, 12,4 %, +0,11 point
    • Whisper Small test-other : 7,95 %, 7,6 %, +0,35 point
  • La raison pour laquelle toutes les mesures sont légèrement plus élevées tient à un normalisateur de texte plus strict et à la quantification CoreML
  • Comme le même corpus, le même normalisateur et le même évaluateur ont aussi été appliqués aux moteurs Apple, la concordance avec les résultats Whisper sert de base à la validation des mesures Apple
  • Les résultats de reconnaissance phrase par phrase, les textes de référence et les WER par phrase sont publiés, ce qui permet de refaire l’évaluation avec d’autres méthodes de normalisation

Méthode de mesure du WER et vérification on-device

  • Chaque moteur a été exécuté non pas avec des réglages expérimentaux, mais avec le chemin de code de production et les paramètres de buffering réellement utilisés par les utilisateurs d’Inscribe
  • Les textes de référence LibriSpeech sont en majuscules, sans ponctuation, et les nombres y sont écrits en toutes lettres, alors que les moteurs modernes produisent une sortie avec ponctuation et chiffres
    • Le même normalisateur a été appliqué aux deux textes pour gérer la casse, la ponctuation, la conversion des chiffres en mots et les contractions
    • Afin de ne pas pénaliser les moteurs qui génèrent un format agréable à lire, l’évaluation ne compare pas le texte brut tel quel, mais suit la méthode de normalisation anglaise d’OpenAI
  • Pour éviter de surpondérer les phrases courtes, un WER de corpus a été utilisé : le nombre total d’erreurs divisé par le nombre total de mots de référence, plutôt que la moyenne des WER par phrase
  • SFSpeechRecognizer pouvant envoyer l’audio aux serveurs d’Apple par défaut, la reconnaissance on-device a été forcée
    • Le banc de test a été configuré pour refuser l’exécution si un basculement automatique vers le cloud se produit, car cela invaliderait la comparaison
    • C’est aussi une mesure destinée à éviter d’envoyer 5 559 fichiers audio à un serveur dans un produit axé sur la confidentialité
  • Les cas où aucun résultat n’a été retourné n’ont pas été masqués : le WER de la phrase concernée a été compté comme 100 %
    • Cela s’est produit une seule fois sur 27 795 transcriptions, dans un cas test-other de SFSpeechRecognizer

Bug produit découvert pendant le benchmark

  • La fonction d’import de fichiers audio du moteur Apple d’Inscribe transmettait l’audio à SpeechAnalyzer et fermait le flux d’entrée, mais n’appelait pas finalizeAndFinishThroughEndOfInput()
  • Sans cet appel, l’analyseur ne renvoie pas le résultat final, ce qui bloquait indéfiniment l’import de fichier
  • Comme le réglage Auto privilégiait auparavant Whisper, ce bug n’avait pas été détecté
  • Le problème a été identifié pendant le benchmark et le correctif a été déployé le jour même

Limites et portée pratique

  • Seules des voix lues en anglais ont été évaluées ; les résultats ne s’appliquent donc pas aux plus de 100 langues prises en charge par Whisper mais pas par SpeechTranscriber
  • LibriSpeech est un corpus standard comparable, mais ce ne sont pas des enregistrements de réunions
    • Les voix avec accent, les enregistrements à distance et les réunions à plusieurs intervenants feront l’objet d’évaluations ultérieures
  • Les mesures ont été effectuées sur un seul M2 Pro avec macOS 26.5.1
    • La précision devrait se maintenir sur d’autres Apple Silicon, mais la vitesse dépendra de la puce
  • Whisper a été exécuté avec les modèles quantifiés WhisperKit CoreML réellement fournis par Inscribe
    • L’implémentation GPU de référence peut donner des résultats légèrement différents, et l’écart avec les valeurs publiées par OpenAI est reflété dans le tableau de reproductibilité
  • Pour transcrire de l’anglais aujourd’hui sur iPhone ou Mac, SpeechAnalyzer intégré au système d’exploitation s’est révélé, dans ces mesures, l’option on-device la plus précise
  • Inscribe utilise SpeechAnalyzer pour les langues prises en charge et Whisper pour les autres, tout en effectuant tout le traitement sur l’appareil sans téléverser l’audio

À lire aussi

1 commentaires

 
GN⁺ 4 시간 전
Avis sur Hacker News

  • Whisper n’est pas une base de comparaison appropriée ; il existe aujourd’hui des modèles récents plus performants, comme Nemotron·Parakeet de Nvidia, Voxtral de Mistral ou Cohere Transcribe.
    En revanche, bon nombre d’apps payantes qui ne font qu’envelopper Whisper risquent d’être touchées. Si Apple sort une interface graphique native, comme une app d’enregistrement pour macOS, la plupart des apps wrapper créées ces temps-ci avec du vibe coding deviendront probablement inutiles.

    • Ce test n’a évalué que l’anglais, mais le point fort des autres modèles est de reconnaître plusieurs langues sans qu’il soit nécessaire de les indiquer à l’avance. Quand on dicte régulièrement dans trois langues, on n’a pas besoin de prévoir trois raccourcis clavier.
    • Je ne suis pas sûr que Parakeet soit vraiment un modèle à l’état de l’art. Si quelqu’un bégaie en disant « m-m-m-map », Parakeet le transcrit tel quel en « m m m map », ce qui peut être un avantage ou un inconvénient selon l’usage. Whisper ne fait pas cela, et Cohere Transcribe me plaît beaucoup.
    • Voice Memos d’Apple prend déjà en charge la transcription automatique depuis macOS 15 et iOS 18.
    • Parmi ces modèles, seul Parakeet compte moins d’un milliard de paramètres et il semble meilleur que le modèle d’Apple, mais il n’est pas intégré. Je me demande comment la latence et l’efficacité se comparent.
    • J’espère aussi qu’Apple remplacera la fonction de dictée médiocre de son clavier. C’est un logiciel vraiment difficile à supporter.

  • Pour l’enregistrement sur Mac, je recommande Willow. Il traite le contenu presque instantanément tout en le structurant ; pour moi, c’est « mieux qu’une transcription parfaite ». J’aimais aussi Superwhisper, mais l’écart était important, donc je suis passé à Willow.
    C’est tellement bon que je me demande s’il reste une marge d’amélioration, et la reconnaissance vocale semble déjà être un problème résolu, ou qui le sera au plus tard d’ici cinq ans. Je ne sais pas si les entreprises du secteur survivront à long terme, mais c’est excellent pour les consommateurs ; si Apple SpeechAnalyzer en 2030 devient suffisamment bon, les logiciels tiers pourraient devenir inutiles.

  • Je l’ai comparé à Whisper-Large-V2 pour mon usage principal, la génération de sous-titres pour des cours de mathématiques : c’était beaucoup plus rapide, avec une précision légèrement inférieure. C’est largement utilisable pour de la transcription en temps réel, mais comme je n’ai pas besoin de créer les sous-titres immédiatement, je pense continuer à utiliser Whisper pour le moment.

    • Je l’utilise dans une app de podcasts que je développe depuis six mois, et c’est effectivement très rapide. En découpant l’audio en plusieurs segments et en veillant à ne pas dépasser la limite de flux de décodage simultanés, on obtient une vitesse énorme ; même si l’on perd une partie des frontières entre segments, c’est suffisant pour un usage podcast.
      Sur iPhone 17 Pro, il traite une heure d’audio en une minute.
    • S’il est plus rapide mais de moins bonne qualité, il serait peut-être plus pertinent de le comparer à des modèles Whisper plus petits.

  • Il serait plus pertinent de le comparer à Voxtral. Dans mes transcriptions de réunions, aucun modèle, public ou privé, n’a eu un taux d’erreur sur les acronymes (AER) aussi bas ; il comprend ou déduit aussi toutes sortes de termes techniques utilisés au travail, au point qu’il n’y a presque rien à corriger. Whisper était catastrophiquement mauvais.

    • C’est pour ce genre de raison que je désactive généralement la correction automatique sur les produits Apple. J’attends prudemment des modèles vocaux améliorés, mais je crains qu’ils ne « corrigent » le jargon technique en mots courants.

  • Whisper small, tiny et base sont des modèles qui ont presque quatre ans et n’ont pas été mis à jour dans Whisper v2 ou v3 ; il devrait maintenant y avoir de meilleurs points de comparaison.

    • Les options sont nombreuses, et sur https://artificialanalysis.ai/speech-to-text/non-streaming, on peut rechercher et filtrer, ne serait-ce que par prise en charge du streaming et poids ouverts. À l’heure actuelle, Voxtral et Nvidia Nemotron semblent les meilleurs.
    • Il existe énormément de modèles, et parmi ceux qui me reviennent récemment, Parakeet a attiré l’attention, avec même une implémentation légère indépendante.

  • Impressionnant. Apple ayant dit avoir amélioré le modèle dans la version 27, je serais aussi curieux de voir les mesures sur la bêta.

  • Est-ce le nouveau moteur de dictée qui ne peut pas tourner sur un iPhone 17 standard vieux d’un an parce que ce n’est pas un Pro ?

  • J’utilise Spokenly avec le modèle de Nvidia et en mode exclusivement hors ligne. Tout le traitement se fait en local et c’est entièrement gratuit, je le recommande vivement.

  • Ce serait bien de benchmarker aussi Whisper large et large v3 turbo. Ils tournent sans problème même sur de vieux MacBook, avec un facteur temps réel (RTF) inférieur à 1, et dans la dictée réelle ils sont bien plus précis que la famille Parakeet, contrairement à ce que suggèrent les classements de reconnaissance vocale automatique.

    • Je recommande d’essayer MOSS-Transcribe-Diarize, sorti il y a quelques jours. Les résultats sont meilleurs qu’avec ces modèles Whisper, c’est très rapide et compact, et c’est aussi plus adapté aux audios bruités.

  • Whisper large v3 turbo tourne très bien en local même sur les iPhone récents, il est donc étrange qu’il soit absent de la comparaison.