BrainGPT convertit les pensées en texte

Une nouvelle percée dans la technologie de lecture de l’esprit

• Des chercheurs du centre d’IA centrée sur l’humain GrapheneX-UTS de l’Université de technologie de Sydney ont annoncé une nouvelle percée dans la technologie de « lecture de l’esprit ».
• Cette recherche a réussi à convertir des pensées en mots affichés à l’écran, et est considérée comme un effort pionnier de traduction directe d’ondes EEG brutes en langage.
• En introduisant une technique de codage discret dans le processus de traduction des ondes cérébrales en texte, ainsi qu’une intégration avec un grand modèle de langage, elle ouvre de nouvelles perspectives en neurosciences et en IA.

Technologie de traduction du langage à partir des ondes cérébrales

• Pendant que les participants lisaient silencieusement un texte, le modèle d’IA DeWave projetait des mots à l’écran en n’utilisant comme entrée que leurs ondes cérébrales.
• Cette technologie est la seule capable de traduire des signaux cérébraux en langage sans nécessiter d’implant cérébral ni l’accès à une machine IRM complète.
• Contrairement aux technologies précédentes, qui exigeaient des entrées supplémentaires comme un logiciel de suivi oculaire, cette nouvelle technologie peut être utilisée sans ces fonctions additionnelles.

Aspect pratique et simplicité d’usage

• L’utilisateur n’a qu’à porter une coiffe enregistrant l’activité cérébrale via EEG, ce qui est bien plus pratique et commode qu’un dispositif de suivi oculaire ou une machine IRM.
• Les chercheurs ont reconnu que le signal était un peu plus bruité que les informations obtenues à partir d’implants, mais ont indiqué que la technologie avait obtenu des résultats assez satisfaisants lors des tests.
• Dans la mesure de précision utilisant l’algorithme BLEU, cette technologie a obtenu un score d’environ 0,4.

Possibilités d’amélioration de la précision

• Le modèle est plus performant pour faire correspondre les verbes, mais pour les noms, il a tendance à privilégier des paires synonymiques, comme « homme » au lieu de « écrivain ».
• Les chercheurs pensent que, lorsque le cerveau traite ces mots, des termes sémantiquement proches peuvent produire des schémas d’ondes cérébrales similaires.
• Les chercheurs estiment qu’il sera possible d’améliorer la précision jusqu’à 0,9, soit un niveau comparable à celui des programmes traditionnels de traduction linguistique.
• L’équipe a mené l’expérience sur 29 participants, un chiffre bien supérieur à celui des tests d’autres technologies de décodage.

L’avis de GN⁺

• Cette technologie représente une avancée remarquable dans la traduction directe des pensées humaines en langage à partir des ondes cérébrales.
• Son accessibilité, puisqu’elle peut être utilisée avec une simple coiffe EEG sans implant cérébral ni machine complexe, en fait une innovation particulièrement marquante.
• À l’avenir, cette technologie pourrait grandement aider les personnes souffrant de troubles de la communication et porter l’interaction entre l’humain et la machine à un niveau inédit.

[GN⁺]

Avis Hacker News

• La recherche sur les interfaces cerveau-ordinateur (BCI) se concentre principalement sur l’aide aux patients paralysés pour qu’ils retrouvent la capacité de communiquer.

  • L’EEG ne fournit pas un rapport signal/bruit suffisant pour prendre en charge de bons débits de communication, en raison de la limite physique liée à l’atténuation des champs électriques du cerveau à l’extérieur du crâne.
  • Les gadgets commerciaux de « lecture de pensée » fonctionnent en réalité à partir des signaux des muscles de la tête et des yeux.
  • Les électrodes implantées offrent de meilleurs signaux, mais nécessitent encore plusieurs améliorations avant d’être commercialement viables. Les signaux se dégradent après quelques mois, à mesure que le cerveau forme du tissu cicatriciel autour des électrodes, et la chirurgie cérébrale comporte évidemment des risques.
  • L’approbation des autorités est nécessaire pour les tests sur des sujets humains, ce qui ralentit fortement les cycles d’itération.
  • Si l’on voulait aider un ami paralysé, on se concentrerait sur la technologie de suivi oculaire dans les cas où seuls les yeux peuvent encore bouger.

• Ce n’est pas la première technologie capable de traduire des signaux cérébraux en langage, mais c’est la seule qui ne nécessite ni implant cérébral ni accès à un appareil d’IRM complet.

  • Si la technologie des capteurs devient suffisamment performante pour qu’il ne soit même plus nécessaire de porter un casque, on peut se demander si une époque viendra où l’on dira aux gens de ne pas s’attendre raisonnablement à ce que leurs pensées restent privées dans les lieux publics.

• Cette technologie pourrait aussi aider à l’introspection.

  • Elle permettrait d’analyser ses schémas de pensée de l’extérieur, de trouver l’efficacité des méthodes d’apprentissage, d’identifier objectivement les moments où la concentration est la plus forte ou la plus faible, et de savoir exactement quand les pensées anxieuses commencent et ce qui les déclenche.
  • L’IRMf peut être utilisée comme détecteur de mensonge par scan cérébral, mais sa validité soulève de nombreuses questions.

• Le projet « Silent Talk » de la DARPA a démarré il y a 14 ans et visait à permettre la communication entre utilisateurs sans échange verbal en situation de combat, grâce à l’analyse des signaux neuronaux.

• Cette technologie pourrait aider les patients victimes d’AVC, mais elle pourrait aussi laisser échapper des pensées non filtrées, ce qui poserait problème.

• Prédire des pensées à l’aide de l’EEG revient un peu à essayer de prévoir les nuages à Austin en observant ceux de Mumbai. Les signaux électriques des neurones individuels se perdent dans des oscillations à grande échelle, puis sont encore plus brouillés par les couches d’os, de muscles et de tissus entre le cerveau et l’appareil. Le débit binaire est d’environ 1 bit par seconde, ce qui est totalement insuffisant pour la plupart des usages.

• La version de base de ce modèle comporte un bug dans le code, ce qui a gonflé les résultats de référence, et le problème est en cours d’investigation.

• On se demande si des pensées non verbales pourraient aussi fonctionner. Par exemple, il serait peut-être possible de comprendre les pensées ou les rêves d’un chien à partir d’un jeu de données de signaux liés à des activités quotidiennes.

• En laissant de côté toutes les implications terrifiantes, cette technologie pourrait permettre quelque chose de très impressionnant : une communication mentale bidirectionnelle.

  • On pense à un message puis à « envoyer », et l’on peut entendre la réponse via des écouteurs. Avec la technologie de clonage vocal, il serait même possible de recevoir le message avec la voix de l’expéditeur. Pour un observateur extérieur, tout resterait totalement silencieux et invisible.