Question HN : comment les navigateurs isolent l’audio interne de l’entrée micro

• Découverte d’une fonctionnalité intéressante dans Chrome et Chromium

  • Il existe une fonction qui sépare l’audio interne de l’entrée micro
  • Par exemple, lorsqu’on passe un appel Google Meet dans un onglet et qu’on lit une vidéo YouTube à volume maximal dans un autre, l’audio de la vidéo n’est pas transmis à Google Meet
  • Si l’on utilise des navigateurs différents (par ex. Google Meet dans Chrome et YouTube dans Chromium), cette séparation ne se produit pas

• Je me demande comment Chrome et Chromium implémentent cette séparation audio

  • Comme Chromium est open source, j’aimerais connaître la partie précise de la base de code qui gère cette fonctionnalité
  • Je serais reconnaissant pour tout détail technique ou éclairage à ce sujet

Résumé de GN⁺

• Cet article traite d’une découverte intéressante sur la fonction de séparation audio de Chrome et Chromium
• Cette fonctionnalité est un élément important pour améliorer l’expérience utilisateur, particulièrement utile lors du multitâche
• La base de code open source de Chromium offre une occasion de comprendre son implémentation technique
• Il vaut la peine d’examiner s’il existe d’autres navigateurs ou logiciels offrant une fonction similaire

[GN⁺]

Avis Hacker News

• Méthode consistant à supprimer la musique de la voix en comparant le délai entre la capture vocale et la lecture

  • Elle consiste à trouver le délai entre le micro et les haut-parleurs, puis à comparer pour supprimer la musique
  • Dans un même processus, on conserve ce qui a été lu pendant quelques centaines de millisecondes et on le compare à l’entrée micro pour trouver la corrélation et le supprimer
  • Entre des processus non liés, l’OS peut fournir une API de capture ou permettre la suppression via un flux loopback
  • En l’absence de ces méthodes, on effectue soi-même le mixage de la sortie audio pour la supprimer

• Acoustic Echo Cancellation (AEC)

  • Implémenté dans Chrome, inclus dans WebRTC
  • Utilise des filtres FIR pour retirer autant que possible du signal micro le son émis par les haut-parleurs
  • On peut trouver des informations associées en recherchant le drapeau de compilation CHROME_WIDE_ECHO_CANCELLATION dans les sources de Chromium

• Problème d’enregistrement et de lecture simultanés dans Chrome

  • Chrome gère mal l’enregistrement et la lecture simultanés
  • Un site illustre clairement le problème : chrome-please-fix-your-audio.xyz

• Problèmes généraux de l’Acoustic Echo Cancellation

  • C’est un problème courant en traitement du signal
  • Il survient même sur des appareils simples comme les téléphones

• Technologie de séparation des sources de Google Meet

  • Elle utilise des réseaux de neurones pour séparer la voix des sons non vocaux, ainsi que les différents locuteurs
  • La technologie s’est nettement améliorée depuis le développement de méthodes d’apprentissage semi-supervisé à partir de 2021

• Effets secondaires de la suppression d’écho

  • Le navigateur connaît l’audio en cours de lecture et le supprime en trouvant sa corrélation avec l’entrée micro
  • C’est nécessaire pour supprimer le feedback lorsqu’on n’utilise pas de casque

• Fonction de blocage de l’audio interne dans Chrome et Chromium

  • Pendant un appel Google Meet, même si une vidéo YouTube est lue dans un autre onglet, Meet ne la capte pas
  • Comme Chromium est open source, on peut vérifier les détails techniques dans le code

• Aspect intéressant des algorithmes de suppression d’écho

  • Si des haut-parleurs externes sont placés à une certaine distance du micro de l’ordinateur, l’algorithme peut mal fonctionner

• Nécessité de la suppression d’écho pendant les réunions

  • Elle est nécessaire pour éviter que les données de la réunion ne soient réinjectées en feedback
  • PulseAudio et Pipewire disposent de modules de suppression d’écho