Triforce - Beamformer pour ordinateurs portables Apple Silicon

• Triforce implémente un beamformer adaptatif de type Minimum Variance Distortionless Response pour le réseau de microphones des ordinateurs portables Apple Silicon
• Modèles pris en charge : MacBook Pro/Air à partir de M1
• Les ordinateurs portables Apple Silicon ci-dessus disposent de microphones disposés en triangle ou en ligne droite
• Apple implémente un beamformer adaptatif en espace utilisateur afin de séparer le signal souhaité du bruit de fond
• Sans beamforming, le réseau est trop sensible et omnidirectionnel pour être vraiment utile
• Un beamformer est nécessaire pour une utilisation utile en dehors de macOS
• Liste des modèles pris en charge
  • MacBook Pro 13" (M1/M2)
  • MacBook Air 13" (M1/M2)
  • MacBook Pro 14" (M1 Pro/Max, M2 Pro/Max)
  • MacBook Pro 16" (M1 Pro/Max, M2 Pro/Max)
  • MacBook Air 15" (M2)

Gérer les attentes

• Il est très difficile de trouver une documentation accessible sur les sujets liés au DSP, en particulier sur le beamforming adaptatif à large bande
• Ce projet est une tentative de beamformer fondée sur un niveau de connaissances correspondant aux mathématiques d’ingénierie de première année, ainsi que sur des principes tirés de pages web et de PDF
• Il ne faut pas s’attendre à ce qu’il surpasse l’implémentation actuelle d’Apple
• Les patchs d’amélioration sont toujours les bienvenus

Limitations connues

• nalgebra n’effectue pas d’optimisations SIMD explicites et s’appuie sur l’auto-vectorisation de LLVM
• Les routines de calcul matriciel ne sont ni très performantes ni très efficaces
• Aucune décomposition large bande n’est effectuée en raison de la charge de calcul supplémentaire
• Sans prise en charge SIMD/NEON, c’est trop lent pour un plugin audio en temps réel
• La sortie ne prend en charge que le mono
• Le traitement matriciel supplémentaire nécessaire pour simuler une sortie stéréo est trop coûteux en calcul

[GN⁺]

Avis sur Hacker News

• Il y a 20 ans, il existait un modèle convertible Toshiba Tablet PC avec un réseau de microphones à formation de faisceau. On pouvait définir par logiciel la direction d’enregistrement

  • C’était utile en cours, car on pouvait orienter le faisceau vers le professeur pour enregistrer
  • Je n’ai plus revu ce genre de fonctionnalité depuis

• Mon mémoire de master inachevé portait sur l’utilisation des microphones de smartphones pour localiser et séparer des haut-parleurs en 3D

  • Les taux d’échantillonnage diffèrent légèrement d’un appareil à l’autre
  • Les caractéristiques spectrales des microphones grand public varient beaucoup
  • Le son se réfléchit partout, surtout sur les murs en béton
  • Une voiture ressemble à une chambre anéchoïque facilement accessible
  • La transformée de Fourier d’une gaussienne est une gaussienne, ce qui est utile pour l’estimation de fréquence

• Cela m’a fait réaliser que faire tourner Linux sur un Mac Apple Silicon demande énormément de travail

  • Les microphones intégrés sont presque inutilisés
  • Chez Apple, tout n’est pas si simple

• Même sur du matériel de laptop bon marché, on peut obtenir des résultats étonnants grâce aux techniques DSP logicielles

  • Le travail audio d’Asahi pourrait aussi s’appliquer aux laptops ordinaires
  • J’ai obtenu des résultats impressionnants avec le plugin de synthèse harmonique de basses Bankstown et un EQ à convolution

• On pourrait envisager faer pour l’optimisation SIMD

  • Mon expérience avec la bibliothèque pulp n’a pas été bonne, mais si l’objectif principal est d’accélérer les opérations d’algèbre linéaire, cela pourrait bien fonctionner
  • Des billets de blog et un podcast sur le SIMD en Rust sont prévus

• Question sur le réseau de microphones des laptops Apple Silicon

  • Je me demande si les modèles M2/M3 ont un réseau de microphones similaire, ou s’ils n’ont simplement pas été testés
  • Je me demande aussi si c’est pris en charge sous Linux et macOS

• Apple semble adopter une approche excessivement complexe pour les microphones, comme pour les haut-parleurs

  • En tant qu’utilisateur de MBP, j’ai été impressionné par l’implémentation des haut-parleurs
  • Je n’y connais rien au-delà de l’agencement des drivers, mais ils semblent utiliser des astuces pour tirer des performances de petits haut-parleurs

• Discussion générale sur le dernier rapport d’avancement d’Asahi Linux

  • Les microphones PDM sont très omnidirectionnels et sensibles
  • La formation de faisceau est nécessaire
  • Un travail précédent sur la sortie des haut-parleurs a été réutilisé pour l’entrée microphone
  • Grâce à PipeWire et WirePlumber, il a été simple de chaîner une pipeline DSP pour les microphones

• Ce serait bien que cela soit implémenté de façon à permettre aussi à d’autres fabricants de construire facilement des réseaux de microphones