Encodage simultané de deux flux vocaux dans le cerveau, observé par EEG

• L’analyse de l’EEG de 24 adultes à l’audition normale montre que, lors d’un changement d’attention, le suivi neuronal du nouveau locuteur commence avant que celui du locuteur précédent ne se désengage, si bien que deux voix sont temporairement représentées simultanément
• Les enveloppes vocales des deux locuteurs ainsi que les informations de début de mot et de prédiction ont été modélisées au moyen de fonctions de réponse temporelle (TRF), et même avec une fenêtre de décodage de 1 seconde, le locuteur auquel l’attention était portée a été identifié avec une précision significativement supérieure au hasard
• L’engagement envers le nouveau locuteur commençait et se terminait significativement plus tôt que le désengagement du locuteur précédent, et cette asymétrie engagement-désengagement se maintenait avec des fenêtres glissantes de 1, 2, 4, 8 et 16 secondes
• Après le changement d’attention, la puissance de la bande alpha de l’EEG diminuait, avec un minimum apparaissant plus tard que le point de bascule de l’encodage vocal, montrant un lien temporel entre le suivi du nouveau locuteur et l’effort d’écoute
• La comparaison de quatre stratégies de contexte lexical avec Mistral-7B-v0.1 indique que l’entropie du modèle Reset, qui abandonne le contexte précédent, prédit le mieux l’EEG, sans pour autant permettre d’affirmer que les humains réinitialisent aussi leur contexte

---

Question de recherche et conception expérimentale

• Dans un environnement où plusieurs personnes parlent, il faut maintenir son attention sur un locuteur tout en pouvant basculer rapidement vers un autre, mais la plupart des travaux neurophysiologiques antérieurs se sont concentrés sur l’attention soutenue
• Le changement d’attention a été décomposé en désengagement (disengagement), soit la diminution du suivi neuronal du locuteur précédent, et engagement (engagement), soit l’augmentation du suivi du nouveau locuteur, afin d’étudier la relation temporelle entre ces deux processus
• 24 anglophones natifs âgés de 18 à 39 ans, à l’audition normale, sans antécédents neurologiques ou psychiatriques et avec une vision normale ou corrigée, ont participé
• 6 haut-parleurs ont été disposés en cercle de 1,5 m de rayon
  • À ±30° à l’avant gauche et droit, deux voix différentes de TED Talk étaient diffusées à 60 dB SPL chacune
  • Depuis les 4 haut-parleurs arrière, un bruit de babillage à 16 locuteurs, combinant 4 voix chacun, était diffusé à 54 dB SPL, établissant un SNR de 3 dB entre premier plan et arrière-plan
• Les participants réalisaient 20 essais de 180 secondes et, selon des flèches affichées à l’écran, changeaient 6 fois d’attention par essai entre les locuteurs gauche et droit
  • Les périodes d’attention soutenue étaient espacées de façon semi-aléatoire
  • Les stimuli de premier plan utilisaient 40 TED Talks, prononcés par 20 hommes et 20 femmes
  • Après chaque essai, les participants répondaient à des questions sur le contenu, le locuteur préféré et la difficulté du changement

Résultats comportementaux et décodage de l’attention

• En raison d’un problème technique, les données comportementales d’une personne manquaient ; la précision moyenne aux questions de contenu, calculée sur 23 participants, était de 86,3 %
• La proportion moyenne de préférence pour la voix gauche était équilibrée, à 49,79 %, et la difficulté du changement était en moyenne de 3,1 points sur une échelle de 1 à 5
• L’EEG à 64 canaux a été enregistré à 512 Hz puis, après prétraitement, sous-échantillonné à 64 Hz ; la relation linéaire avec décalage temporel entre la parole et l’EEG a été modélisée par des fonctions de réponse temporelle (TRF)
• À l’aide de TRF inverses, l’enveloppe vocale suivie par l’attention a été reconstruite depuis l’EEG, puis ses corrélations avec les voix gauche et droite ont été comparées
  • Des fenêtres de décodage de 1, 2, 4, 8, 16 et 32 secondes ont été utilisées
  • Plus la fenêtre était longue, meilleures étaient les performances de classification, mais toutes les conditions, y compris la fenêtre de 1 seconde, dépassaient significativement le 95e centile de la distribution aléatoire obtenue en randomisant 100 fois les étiquettes
• Même dans une situation de changement dynamique, la reconstruction de l’enveloppe vocale à partir de l’EEG permettait de suivre de manière fiable le locuteur cible de l’attention

L’engagement envers le nouveau locuteur est plus rapide que le désengagement de l’ancien

• Les TRF multivariées directes intégraient l’enveloppe vocale, le début des mots et la surprisalité des mots ; la corrélation entre l’EEG réel et l’EEG prédit a été calculée par fenêtre glissante
• Avant le changement, la voix du locuteur précédent était davantage suivie ; après le changement, le suivi du nouveau locuteur augmentait, conformément aux consignes visuelles d’attention
• Les 21 participants montrant un biais attentionnel fiable supérieur à 50 % avant et après le changement ont été retenus pour l’analyse temporelle
  • Les participants exclus ne permettaient pas d’estimer les points de début et de fin du désengagement et de l’engagement
  • Dans les analyses ultérieures incluant les 3 participants exclus, le motif qualitatif d’un engagement plus précoce se maintenait, mais la significativité statistique disparaissait
• Une régression linéaire par segments a été appliquée aux corrélations de prédiction EEG de chaque participant afin d’estimer les points de début et de fin du désengagement et de l’engagement
  • Avec une fenêtre de 4 secondes, l’engagement envers le nouveau locuteur commençait significativement plus tôt que le désengagement de l’ancien
  • La fin de l’engagement était elle aussi significativement plus précoce que la fin du désengagement
• L’asymétrie engagement-désengagement persistait également lorsque les fenêtres de 1, 2, 4, 8 et 16 secondes étaient analysées ensemble
  • Plus la fenêtre était longue, plus le temps de changement estimé augmentait
  • Le lissage temporel dû à la fenêtre glissante peut allonger le changement, mais ne crée pas en lui-même l’asymétrie entre les deux processus
• Pendant un bref intervalle où le suivi du nouveau locuteur apparaît avant la diminution du suivi de l’ancien, les deux flux vocaux sont représentés simultanément au niveau neuronal

Bande alpha et effort d’écoute

• Les variations spectrales liées à l’événement (ERSP) dans la bande alpha 8–12 Hz autour du changement d’attention ont été utilisées comme indicateur de l’effort d’écoute
• Pendant le changement, la puissance alpha diminuait significativement dans les régions occipito-pariétales, avec une forte baisse mesurée environ 4,5 secondes après le signal de changement
• Avec une fenêtre de 4 secondes, le minimum de l’ERSP alpha apparaissait significativement plus tard que le point de bascule de l’encodage, où les corrélations de prédiction EEG des deux locuteurs se croisaient
  • Le même ordre se maintenait avec plusieurs longueurs de fenêtre
  • Le minimum alpha correspondait approximativement au moment où l’engagement envers le nouveau locuteur était terminé, et précédait la fin du désengagement de l’ancien
• Cette relation temporelle laisse ouverte la possibilité que la puissance alpha soit liée à l’effort de recentrage sur le nouveau locuteur, à l’inhibition active du nouveau locuteur distracteur, ou à une combinaison des deux processus
• Une fois que le contexte acoustique et linguistique du nouveau flux est suffisamment accumulé, son suivi peut devenir plus facile et libérer des ressources cognitives, mais des vérifications supplémentaires selon la difficulté du changement sont nécessaires

Quatre modèles de contexte lexical

• Comme le contexte sémantique utilisé pour la prédiction lexicale change aussi lorsque la cible de l’attention change, la surprisalité des mots et l’entropie ont été calculées avec Mistral-7B-v0.1
  • La surprisalité indique à quel point le mot actuel est inattendu au regard du contexte précédent
  • L’entropie indique l’incertitude de la prédiction du mot suivant
• Quatre stratégies d’accumulation du contexte ont été comparées
  • Oracle : utilise toutes les productions précédentes du locuteur actuel, qu’elles aient été écoutées attentivement ou non, et ne reconnaît pas les changements
  • Speaker-Specific : utilise uniquement les périodes d’attention précédentes du même locuteur
  • Attention : utilise toutes les périodes précédemment écoutées attentivement, quel que soit le locuteur
  • Reset : abandonne tout le contexte antérieur au changement et accumule un nouveau contexte uniquement dans la période d’attention actuelle
• Juste après le changement, l’entropie du modèle Reset augmentait le plus fortement, puis diminuait à mesure que les mots se succédaient
  • Attention et Speaker-Specific étaient similaires et plus stables
  • Oracle, qui ne reconnaît pas les changements, présentait très peu de variation avant et après ceux-ci
  • En moyenne globale, l’entropie de Reset était supérieure à celle d’Oracle et à un niveau intermédiaire, inférieur à Attention et Speaker-Specific

Résultats de prédiction EEG du modèle Reset

• Par rapport à une TRF de référence utilisant uniquement les caractéristiques acoustiques, l’ajout de l’entropie améliorait significativement la prédiction pour les modèles Speaker-Specific, Attention et Reset, mais pas pour Oracle
• Avec la surprisalité aussi, l’encodage de l’information sémantique était observé dans les trois modèles à l’exception d’Oracle
• Contrairement aux attentes, le modèle Reset fondé sur l’entropie obtenait une corrélation de prédiction EEG significativement plus élevée qu’Oracle, Speaker-Specific et Attention
  • L’amplitude TRF-N400 entre 350 et 550 ms était plus faible avec Reset qu’avec les trois autres modèles
• Dans l’analyse fondée sur la surprisalité, Reset dépassait Oracle, mais les comparaisons entre les autres modèles n’étaient pas significatives, et l’amplitude TRF-N400 ne présentait pas non plus de différence significative
• La différence entre l’entropie, qui reflète l’incertitude des mots à venir, et la surprisalité, qui réagit aux mots déjà apparus, a pu influencer les résultats
  • Les participants recevaient un signal de changement et anticipaient l’arrivée d’une autre voix, alors que le LLM ne recevait pas ce signal ; la surprisalité humaine et celle du modèle peuvent donc ne pas coïncider
  • Mistral est optimisé pour la prédiction du mot suivant, et non pour une validité neurophysiologique
• Les résultats sont compatibles avec l’idée que les humains puissent réinitialiser le contexte lexical lors d’un changement, mais il reste aussi possible que les humains et les LLM traitent les discontinuités vocales de manière complètement différente

Limites et applications possibles

• Les temps d’engagement et de désengagement calculés par fenêtre glissante dépendant de la longueur de fenêtre, ils doivent être interprétés comme des temps relatifs entre processus, et non comme des temps absolus de traitement neuronal
• La tâche de changement imposé est moins naturelle qu’une conversation réelle et incite à surveiller la voix distractrice, ce qui peut induire des stratégies différentes d’une tâche d’attention soutenue
• L’asymétrie peut varier selon la charge cognitive, l’âge, les capacités cognitives, les problèmes d’audition, l’intérêt pour le contenu vocal, la fréquence des changements et les caractéristiques de la tâche
• Il est aussi possible que le contexte précédent ne soit pas entièrement abandonné, mais conservé sous forme de résumé abstrait, comme l’idée générale du récit
  • On pourrait comparer un Large Concept Model optimisé pour la prédiction de phrases, ou des modèles combinant un court contexte de tokens et des résumés passés
• La méthode qui sépare les changements d’encodage propres à chaque voix est plus fine qu’une simple classification de l’attention, et pourrait servir aux recherches sur les aides auditives à contrôle cognitif ainsi qu’aux comparaisons selon l’âge et l’audition
• Les EEG prétraités, les fichiers d’analyse, le code et les stimuli vocaux sont publiés sur Zenodo

[GN⁺]

Avis sur Hacker News

• Cela me rappelle l’histoire où Richard Feynman a essayé de voir ce qu’il pouvait faire en même temps qu’il comptait mentalement 60 secondes. Feynman pouvait lire en comptant, mais pas parler ; John Tukey, lui, pouvait parler mais pas lire
  C’était parce que Tukey visualisait une bande en comptant les nombres, tandis que Feynman se les disait intérieurement. La conclusion était que, même pour une même activité de comptage, le processus mental diffère selon les personnes, et qu’on peut le vérifier objectivement en observant ce qu’elles peuvent ou ne peuvent pas faire pendant qu’elles comptent
  Feynman envisageait aussi la possibilité que lui, qui voyait les lettres des équations en couleurs, et ses étudiants perçoivent les fonctions de Bessel de façon totalement différente
  https://calteches.library.caltech.edu/3591/1/Feynman.pdf

  • Quand j’endormais ma fille, je la portais en chantant et en comptant 300 pas ; en visualisant les nombres au lieu d’utiliser un monologue intérieur, j’arrivais à chanter et compter en même temps. Il fallait toutefois plus de concentration, et maintenant que ma fille s’endort seule, cette époque me manque parfois
  • Tant que je ne lis pas de texte, je peux suivre un livre audio sans beaucoup me concentrer. Comme je fais de la subvocalisation quand je lis, j’ai l’impression de ne pas pouvoir écouter un livre audio et lire en même temps ; et je préfère lire en savourant chaque mot plutôt que de faire de la lecture rapide
  • Cela semble lié au fait que les hémisphères gauche et droit prennent en charge des fonctions cognitives différentes et les mouvements du côté opposé du corps, tout en communiquant via le corps calleux. Chez les patients au cerveau divisé dont le corps calleux a été sectionné, les deux hémisphères peuvent même agir indépendamment, comme le montrent les expériences de Michael Gazzaniga et Roger Sperry
    L’expérience de Feynman montre qu’il est possible de vérifier de l’extérieur les modes de traitement internes que chacun a développés ; le fait de ressentir des couleurs pour les symboles mathématiques pourrait aussi être le résultat de l’hémisphère droit attribuant des identifiants uniques aux problèmes logiques de l’hémisphère gauche
  • Je me demande si l’impossibilité de travailler, lire et se concentrer en écoutant de la musique relève de la même raison, ou si c’est simplement que la musique accapare toute l’attention
  • Lire à voix haute en chantant une berceuse à un enfant est très facile, mais essayer de parler tout en comptant mentalement m’a semblé impossible, comme si je me heurtais à un mur

• Je peux lire un conte à voix haute tout en poursuivant des pensées complètement distinctes. Il arrive toutefois que des erreurs se glissent dans la lecture à voix haute, par exemple en remplaçant un mot par un mot issu de l’autre pensée

  • Quand mon père, physicien, commençait à s’endormir en lisant un livre, l’histoire devenait soudain incohérente et pleine de termes de physique difficiles, ce qui se repérait tout de suite
  • Tous les soirs, je peux lire un livre à mon enfant tout en réfléchissant à un autre problème pendant une quinzaine de minutes, mais dans cet état je ne suis pas l’intrigue. Au moment où mon enfant demande : « Papa, pourquoi il a volé le vélo ? », toute la mascarade s’effondre
  • En lisant à mes enfants des dizaines de livres, dont ceux d’Enid Blyton, je peux penser en même temps au travail ou aux tâches ménagères. Il m’arrive de ne plus du tout suivre ce que j’ai lu pendant plusieurs minutes et de devoir recommencer ; le trajet yeux-bouche, cette boucle phonologique, semble fonctionner indépendamment des voies cognitives de mémoire, de traitement et d’exécution
  • À l’école, quand on lisait le manuel à tour de rôle, je me concentrais uniquement sur la voix et l’intonation correspondant à la ponctuation. Une fois le paragraphe terminé, je devais le relire en silence pour en comprendre le contenu, et aujourd’hui encore, pour lire à voix haute tout en comprenant un texte complexe, je dois mobiliser les deux flux de traitement
  • Quand on consacre davantage de ressources cognitives à une autre pensée, on se rend parfois compte qu’on était encore en train de lire à voix haute sans aucun effort conscient

• En tant que pilote et opérateur radio, j’ai toujours pu traiter deux flux de parole en même temps, donc ce résultat ne me surprend pas

  • Les contrôleurs des centres de contrôle et des TRACON surveillent plusieurs fréquences dans les deux oreilles, et doivent les traiter même quand un pilote couvre une communication sur une autre fréquence. Pendant les transferts, ils doivent aussi gérer la communication interne, et le contenu des échanges n’est pas une discussion sur le barbecue du week-end, mais présente une densité d’information comparable à un METAR
  • En tant qu’enseignant, il m’arrive de parler avec plusieurs enfants en même temps. C’est possible si cela ne demande pas une concentration profonde, mais c’est fatigant, donc j’évite autant que possible
  • Je me demande si, dans le casque, plusieurs voix se superposent au centre ou en mono, ou si elles sont séparées entre l’oreille gauche et l’oreille droite

• Diverses pratiques de pleine conscience semblent consister à porter son attention sur deux choses à la fois pour faire taire la voix intérieure. Dans The Fourth Way de George Gurdjieff et les écrits de P. D. Ouspensky, il est décrit que saturer le flux de l’attention en se concentrant sur deux objets provoque un changement de conscience proche de la méditation
  https://en.wikipedia.org/wiki/In_Search_of_the_Miraculous

  • C’est peut-être pour cela qu’écouter une fugue est si agréable

• À l’université, lors de soirées, il m’arrivait de participer à plusieurs conversations en même temps en passant d’un groupe à l’autre. Ce n’était pas parce que j’avais des capacités exceptionnelles, mais parce que j’entendais toutes les conversations autour de moi ; quand plusieurs groupes avaient des échanges intéressants, je ne voulais rien manquer et je faisais constamment la navette entre les conversations

• Si l’on ne pouvait pas traiter plusieurs flux sensoriels, on ne pourrait pas surveiller les dangers en arrière-plan ni effectuer des changements de contexte. L’expérience consciente et les traitements qui se produisent en arrière-plan sont différents

  • Traiter plusieurs flux et les traiter simultanément de façon continue sont deux choses différentes. Comme un CPU monocœur qui gère plusieurs threads, un découpage temporel consistant à passer très vite de A à B peut suffire au premier cas
    Des preuves montrant que le cerveau traite et encode réellement plusieurs flux en parallèle et en continu nous aident à comprendre le mécanisme exact du multitâche ; même si le résultat semble évident, cela vaut donc la peine de l’étudier
  • Ici, il ne s’agit pas du traitement multisensoriel général, mais du traitement de plusieurs flux de parole
  • Comprendre le sens d’un texte et détecter un danger dans un signal relèvent aussi de niveaux qualitatifs de traitement différents

• Je pensais que c’était déjà bien connu. Mon problème, c’est que je suis incapable d’ignorer les paroles des autres : même en parlant avec quelqu’un, j’entends mot pour mot les conversations autour de moi

• Les équipes de contrôle des missions Apollo étaient entraînées à traiter plusieurs flux de conversation simultanément, mais il est célèbre qu’elles ne pouvaient plus désactiver cette capacité, ce qui faisait des cocktails un cauchemar

  • Les contrôleurs aériens des aéroports et les métiers similaires dans le rail et le métro connaissent probablement les mêmes difficultés
  • Quand je dîne avec des proches, tout le monde parle en même temps et la plupart participent à deux conversations. Ma petite sœur, partie de la maison pour l’université, a mis plusieurs semaines à perdre à nouveau cette habitude et, pendant ses visites, ne parlait tout simplement pas à table
  • J’aimerais bien un lien permettant de vérifier la source de cette anecdote

• L’un des superpouvoirs légendaires de Pythagore était la bilocation, le fait d’apparaître dans deux villes à la fois pour y donner des cours. Chaque fois que je participe simultanément à plusieurs conversations dans une réunion mondaine, je pense à Pythagore

• Quand on a commencé à combiner animation et son, si l’on jouait un « toc » exactement au moment où le pendule atteignait l’extrémité de sa course, les gens avaient l’impression que le son était en retard. On dit que c’est parce qu’il faut environ 1/16 de seconde pour déplacer son attention d’un stimulus à un autre
  On peut trouver d’autres observations sur la perception du temps sur https://en.wikipedia.org/wiki/Time_perception

  • La vitesse de propagation du son lui-même est aussi lente
  • De toute façon, le tic-tac d’une vraie horloge se produit avant que le pendule n’atteigne l’extrémité