MouthPad, un pavé tactile buccal qui aide les patients paralysés à utiliser un ordinateur

 (news.mit.edu)
2 points par GN⁺ 2024-06-15 | 1 commentaires | Partager sur WhatsApp
  • Pour les personnes qui ont du mal à utiliser leurs mains, les dispositifs d’assistance vocale existants ne sont pas toujours adaptés, et le MouthPad d’Augmental transforme les mouvements dans la bouche en commandes pour smartphone, ordinateur et tablette
  • Un pavé tactile sensible à la pression en contact avec le palais, ainsi que deux capteurs de mouvement, convertissent les gestes de la langue et de la tête via Bluetooth en déplacement du curseur, défilement et clics
  • Des utilisateurs atteints de lésions de la moelle épinière utilisent déjà MouthPad au quotidien, et un étudiant tétraplégique s’en sert dans des situations où la voix est difficile à utiliser, comme l’étude en bibliothèque ou la rédaction d’équations
  • Le produit est conçu sur mesure à partir d’un modèle 3D basé sur un scan buccal de l’utilisateur, puis fabriqué en imprimant en 3D une gouttière en matériau dentaire avant d’y ajouter les composants électroniques
  • Augmental veut obtenir l’autorisation de la FDA dans l’année à venir afin d’étendre les usages au contrôle de fauteuils roulants et de bras robotisés, ainsi qu’au remboursement par l’assurance, et développe aussi une version suivante capable de reconnaître des mouvements articulatoires encore plus fins

Un dispositif d’entrée pour les personnes qui ont du mal à utiliser leurs mains

  • Augmental est une startup qui aide les personnes ayant des troubles moteurs à interagir plus naturellement avec leurs appareils informatiques personnels
  • Son premier produit, MouthPad, permet de contrôler un ordinateur, un smartphone ou une tablette grâce aux mouvements de la langue et de la tête
  • L’objectif est de permettre à des personnes ayant de graves limitations fonctionnelles des mains d’utiliser un téléphone ou une tablette avec autant d’aisance que celles qui se servent de leurs mains

Comment les mouvements dans la bouche deviennent curseur et clics

  • Le pavé tactile sensible à la pression de MouthPad est placé au niveau du palais
  • Le pavé tactile et deux capteurs de mouvement transforment en temps réel les gestes de la langue et de la tête en signaux d’entrée via Bluetooth
    • En faisant glisser la langue, on peut faire défiler vers le haut, le bas, la gauche ou la droite
    • Un geste d’aspiration permet d’effectuer un clic droit
    • Une pression sur le palais permet d’effectuer un clic gauche
  • Les utilisateurs qui ont du mal à contrôler leur langue peuvent utiliser l’humidité, le serrement de mâchoire ou d’autres gestes
  • Les utilisateurs ayant davantage de contrôle du cou peuvent déplacer le curseur à l’écran avec le suivi de tête
  • Augmental veut créer une interface multimodale adaptée à la condition physique de chaque utilisateur

Pourquoi avoir choisi la langue comme moyen d’entrée

  • Une grande zone du cerveau est impliquée dans le contrôle de la position de la langue
  • La langue est composée de huit muscles, et la plupart de ses fibres musculaires sont des fibres lentes qui se fatiguent difficilement
  • Vega a estimé qu’il était possible d’exploiter ces caractéristiques pour l’interaction informatique et a expérimenté la bouche comme moyen d’entrée
  • Lors de son dernier semestre au MIT, il a validé le potentiel avec un prototype en forme de « sucette » équipé de plusieurs capteurs

Utilisateurs réels et cas d’usage

  • Des personnes atteintes de lésions de la moelle épinière utilisent MouthPad tous les jours pour interagir de façon autonome avec les appareils de leur choix
  • Un utilisateur tétraplégique, étudiant en mathématiques et en informatique à l’université, utilise MouthPad pour écrire des équations et étudier à la bibliothèque
    • Dans ces situations, les dispositifs d’assistance vocale n’étaient pas adaptés
    • Il peut aussi l’utiliser pour prendre des notes en cours et jouer avec ses amis
  • Une grande partie des utilisateurs actuels ont des lésions de la moelle épinière ; certains ne peuvent pas bouger les mains et d’autres ne peuvent pas bouger la tête
  • Des gamers et des programmeurs utilisent également MouthPad
  • Les utilisateurs les plus intensifs interagissent avec MouthPad jusqu’à 9 heures par jour

Fabrication sur mesure et origine au MIT

  • Augmental crée un modèle 3D à partir du scan buccal de l’utilisateur, puis génère le design du MouthPad à partir de ce modèle
  • L’équipe imprime en 3D une gouttière en matériau dentaire avant d’y ajouter les composants électroniques
  • Vega a rencontré son cofondateur Corten Singer pendant ses études à l’UC Berkeley, puis a rejoint le groupe de recherche Fluid Interfaces du MIT Media Lab
  • Au MIT, il a suivi des cours de microfabrication, de traitement du signal et d’électronique, et a développé des dispositifs portables aidant à l’accès à l’information en ligne, à l’amélioration du sommeil et à la régulation émotionnelle
  • Pendant les premières phases de développement, l’équipe a utilisé des ressources du MIT comme le Venture Mentoring Service, le MIT I-Corps program et le E14 Fund
  • Augmental a été officiellement lancé fin 2019, au moment où Vega a obtenu son diplôme du MIT

Une approche choisie à la place d’une interface cerveau-machine

  • Vega s’est un temps intéressé aux interfaces cerveau-machine, mais a cherché une autre solution après un stage chez Neuralink
  • Les implants cérébraux ont un grand potentiel pour aider les gens à l’avenir, mais leur développement prend beaucoup de temps
  • Vega a rencontré de nombreuses personnes qui avaient besoin de solutions immédiates, et a voulu créer au MIT une approche qui conserve le potentiel des implants cérébraux tout en évitant leurs limites

Autorisation FDA et version suivante

  • Augmental veut obtenir l’autorisation de la FDA aux États-Unis dans l’année à venir pour prendre en charge des usages comme le contrôle de fauteuils roulants et de bras robotisés
  • L’autorisation de la FDA pourrait permettre le remboursement par l’assurance et améliorer l’accessibilité du produit
  • L’entreprise développe une version suivante réagissant aux chuchotements et à des mouvements internes encore plus fins des organes de la parole
  • Cette fonctionnalité est importante pour ses premiers clients qui ont perdu ou endommagé leur fonction pulmonaire
  • Vega voit aussi d’un bon œil les progrès des agents IA et du matériel associé, et souhaite qu’Augmental devienne une interface intelligente toujours disponible, robuste et privée

À lire aussi

1 commentaires

 
GN⁺ 2024-06-15
Commentaires sur Hacker News

  • Pourquoi il n’y avait pas ce genre de chose il y a 10 à 15 ans ? J’ai l’impression qu’en matière de technologie d’assistance, pas assez de gens en fabriquent ou s’en soucient avant d’être eux-mêmes directement concernés

    • Je travaille dans un labo universitaire sur des dispositifs de contrôle musical assisté pour des musicien·ne·s en situation de handicap. D’après ce que j’ai pu voir brièvement, beaucoup de ces projets passent difficilement de la recherche à une activité réellement viable sur le long terme
      Les situations physiques et neurologiques sont très variées, donc les aides techniques demandent souvent de la personnalisation, du réglage et du support pour chaque utilisateur, ce qui les rend aussi assez coûteuses
    • Il semble y avoir plusieurs raisons. D’abord, un fossé technique : les personnes qui finissent par avoir besoin de technologies d’assistance ne savent pas forcément comment commencer à les fabriquer elles-mêmes. Ensuite, une différence de point de vue : pour un technicien valide, il peut être difficile de bien comprendre le problème et donc de créer le bon produit
      Troisièmement, il y a la communication : la personne concernée doit pouvoir expliquer ses besoins, ce qui peut demander de l’introspection et un certain niveau de compétence technique. Enfin, il y a l’argent : combien de personnes peuvent se consacrer pendant des mois ou des années à un projet qui a de fortes chances de ne pas être rentable ?
    • Saisie avec les mouvements oculaires : https://www.optikey.org/
      Saisie avec pointeur de tête : https://www.alimed.com/adjustable-head-pointer.html
      Saisie à une main : plusieurs dispositions de clavier existent https://en.wikipedia.org/wiki/Dvorak_keyboard_layout#Variant...
      Il y a aussi la reconnaissance vocale, la synthèse vocale et les fonctions d’accessibilité de Windows. Des produits ont bien été développés et commercialisés, mais il reste encore beaucoup à faire, et ce produit est une option supplémentaire bienvenue
    • J’ai essayé il y a environ 9 ans, et j’ai aussi publié la solution en open source. À l’époque, j’avais le sentiment que le marché n’était pas assez grand, donc j’ai préféré la laisser ouverte pour que tout le monde puisse en créer à partir des résultats de recherche
      http://pallette.io/instructions.html
    • Oui. C’est triste que le monde fonctionne ainsi, mais j’espère que MouthPad^ pourra changer ce vieux schéma
      Le design universel profite à tout le monde, pas seulement aux personnes dans des situations extrêmes, et c’est pour cela que tout le monde devrait s’y intéresser. On peut prendre comme petit exemple l’histoire des trottoirs abaissés

  • J’ai l’impression que cela pourrait aider toute personne ayant subi des troubles musculosquelettiques dus au surmenage liés à l’usage de l’ordinateur. J’ai eu une tendinite sévère et utiliser une souris ou un trackpad était très douloureux ; j’aurais vraiment aimé avoir ce genre d’appareil comme autre option

    • Je me demande pourquoi personne ne vend encore de souris contrôlées au pied. Ce serait pourtant assez pratique même pour les utilisateurs ordinaires qui tapent à deux mains

  • Le Vision Pro récemment lancé et le suivi oculaire offrent eux aussi un mode d’entrée relativement de niche mais très accessible. C’est déjà utilisé dans ce contexte

    “I was having trouble getting around that day,” he said, so he took the day off and did work for his consulting agency, Equal Accessibility, from bed, wearing the Vision Pro, surrounded by screens he controlled with his eyes and a series of custom mouth-sounds that triggered selections. “As I get older, and this happens more often for me,” he said, “I envision myself working virtually with the AVP even more.”
    https://nymag.com/intelligencer/article/apple-vision-pro-dis...

    • Le suivi oculaire doit aussi arriver sur iPhone et iPad. Cela ne fonctionnera sans doute pas aussi bien qu’avec le matériel du Vision Pro, mais pour les personnes qui ont du mal à mettre et retirer seules un casque, c’est déjà bien d’avoir une option
      https://9to5mac.com/2024/06/13/turn-on-iphone-eye-tracking-i...

  • J’aimerais l’utiliser dans les jeux comme option de contrôle supplémentaire. J’ai l’impression qu’on pourrait devenir très bon pour viser avec la langue. La distance entre le cerveau et la langue est plus courte qu’entre le cerveau et la main, donc le temps de réaction serait-il plus rapide ? Le contrôle à la langue finira peut-être par dominer l’e-sport ;) On aura bientôt des protège-dents RGB

    • Il y a un streamer appelé RockyNoHands. Il joue à Warzone entièrement avec la bouche
      Son contrôleur est équipé de tubes dans lesquels il souffle ou aspire pour contrôler son personnage. Le voir jouer en direct à des jeux très compétitifs est vraiment impressionnant
      [0] https://en.wikipedia.org/wiki/RockyNoHands
    • Quelle est l’endurance de la langue ou la dextérité linguale d’un joueur moyen ? Combien d’entraînement faudrait-il pour l’améliorer au point que ce soit vraiment utile ?
      J’ai l’impression que ce serait assez difficile à bien maîtriser
    • La photo de la souris à langue dans l’article est peut-être un rendu, mais elle donne l’impression d’être autour de 16 dpi, donc ça semble convenir comme souris d’assistance pour faire pivoter le monde. Pour cliquer sur de tout petits pixels, on voudrait sans doute un appareil avec quelque chose comme un réglage de zoom

  • Même si le cas d’usage le plus important des technologies d’assistance reste l’input oral pour les personnes handicapées, ce serait aussi sympa d’avoir un simple protège-dents Bluetooth pour les sports d’action, avec des commandes de lecture multimédia comme lecture, pause, piste suivante/précédente

    • C’est exactement le genre de schéma auquel je pense : une pression sur le palais pour lecture/pause, un tapotement sur l’intérieur des dents en haut à gauche/droite pour précédent/suivant, faire glisser la langue le long de l’intérieur des dents pour se déplacer dans la lecture, et la faire glisser d’avant en arrière sur le palais pour régler le volume
      Ça semble assez intuitif, et probablement bien plus précis que les gestes des doigts que j’utilise aujourd’hui. Mes inquiétudes porteraient surtout sur le confort, les fausses activations et l’impact sur la parole. Cela dit, certaines personnes portent déjà des bijoux dentaires, donc ça n’a pas l’air si mauvais.
    • Vous auriez quelques exemples de cas d’usage dans ce genre ?

  • Dommage que brolylegs n’ait pas vécu assez longtemps pour voir ça :( Il utilisait une manette classique.
    À noter aussi que Microsoft a de bonnes choses pour les joueurs handicapés. Il y a l’Adaptive Controller, et ils ont aussi collaboré avec Byowave sur le futur Proteus Controller
    https://www.xbox.com/en-US/accessories/controllers/xbox-adap...
    https://www.byowave.com/product/proteus-controller-early-bir...

  • Un peu à côté du sujet, mais je ne comprends pas pourquoi les couches clavier/souris ne se sont pas davantage imposées. Depuis que j’ai soutenu UHK[1] sur Kickstarter il y a quelques années, je n’utilise plus du tout de souris
    Il faut un peu de temps pour s’y habituer, mais piloter la souris au clavier, c’est vraiment excellent
    [1] Ultimate Hacking Keyboard

  • Il faut aussi parler du fait que le nom est parfait. MouthPad donne l’impression que quelqu’un portant un MouthPad essaie de dire mouse pad. Magnifique

  • J’ai lu quelque chose sur une technologie similaire il y a très longtemps. C’était peut-être celle-ci
    https://www.researchgate.net/publication/224648269_Tongue_dr...