Ask HN : comment les navigateurs séparent-ils l’audio interne de l’entrée micro ?

• Observation, dans Chrome et Chromium, que lors de l’utilisation simultanée d’un onglet d’appel Google Meet et d’un onglet lisant YouTube, l’audio interne de YouTube n’entre pas dans l’entrée micro de Google Meet
• Si la même tâche est répartie entre différents navigateurs, par exemple Google Meet ouvert dans Chrome et YouTube lu dans Chromium, cette séparation audio ne se produit pas
• Chromium étant open source, recherche d’indices techniques sur l’emplacement du code concerné dans la codebase ou sur la manière dont ce comportement est implémenté

[GN⁺]

Avis Hacker News

• Méthode consistant à supprimer la musique de la voix en comparant le délai entre la capture vocale et la lecture

  • Elle consiste à trouver le délai entre le micro et les haut-parleurs, puis à comparer pour supprimer la musique
  • Dans un même processus, on conserve ce qui a été lu pendant quelques centaines de millisecondes et on le compare à l’entrée micro pour trouver la corrélation et le supprimer
  • Entre des processus non liés, l’OS peut fournir une API de capture ou permettre la suppression via un flux loopback
  • En l’absence de ces méthodes, on effectue soi-même le mixage de la sortie audio pour la supprimer

• Acoustic Echo Cancellation (AEC)

  • Implémenté dans Chrome, inclus dans WebRTC
  • Utilise des filtres FIR pour retirer autant que possible du signal micro le son émis par les haut-parleurs
  • On peut trouver des informations associées en recherchant le drapeau de compilation CHROME_WIDE_ECHO_CANCELLATION dans les sources de Chromium

• Problème d’enregistrement et de lecture simultanés dans Chrome

  • Chrome gère mal l’enregistrement et la lecture simultanés
  • Un site illustre clairement le problème : chrome-please-fix-your-audio.xyz

• Problèmes généraux de l’Acoustic Echo Cancellation

  • C’est un problème courant en traitement du signal
  • Il survient même sur des appareils simples comme les téléphones

• Technologie de séparation des sources de Google Meet

  • Elle utilise des réseaux de neurones pour séparer la voix des sons non vocaux, ainsi que les différents locuteurs
  • La technologie s’est nettement améliorée depuis le développement de méthodes d’apprentissage semi-supervisé à partir de 2021

• Effets secondaires de la suppression d’écho

  • Le navigateur connaît l’audio en cours de lecture et le supprime en trouvant sa corrélation avec l’entrée micro
  • C’est nécessaire pour supprimer le feedback lorsqu’on n’utilise pas de casque

• Fonction de blocage de l’audio interne dans Chrome et Chromium

  • Pendant un appel Google Meet, même si une vidéo YouTube est lue dans un autre onglet, Meet ne la capte pas
  • Comme Chromium est open source, on peut vérifier les détails techniques dans le code

• Aspect intéressant des algorithmes de suppression d’écho

  • Si des haut-parleurs externes sont placés à une certaine distance du micro de l’ordinateur, l’algorithme peut mal fonctionner

• Nécessité de la suppression d’écho pendant les réunions

  • Elle est nécessaire pour éviter que les données de la réunion ne soient réinjectées en feedback
  • PulseAudio et Pipewire disposent de modules de suppression d’écho