Ma pile d’accessibilité et son avenir sous Wayland

• La transition vers Wayland casse les outils d’accessibilité d’entrée basés sur X11, privant certains utilisateurs de leur moyen d’accès à l’informatique et même à leur vie professionnelle
• Talon Voice combine reconnaissance vocale, scripting et Python pour permettre, sans les mains, de changer d’application, dicter du texte, manipuler le navigateur et faire défiler
• gaze_ocr et Cursorless combinent OCR, suivi du regard et références à l’arbre syntaxique pour étendre la manipulation de l’écran et la programmation sans coopération des applications
• Wayland manque d’API standard communes pour la gestion des fenêtres, l’automatisation des entrées, le positionnement de la souris, le presse-papiers et la lecture d’écran dont Talon a besoin
• Le développeur principal de Talon a annoncé la suppression du support Linux dans les versions publiques, et l’implémentation des API sur GNOME, KDE et wlroots reste une tâche pour la communauté

---

Le problème : la transition vers Wayland casse l’accessibilité d’entrée

• KDE Plasma a annoncé la suppression du support X11 début 2027, ce qui signifie que les utilisateurs d’outils d’accessibilité dépendant de X11 auront du mal à continuer à utiliser leur environnement de bureau actuel dans environ neuf mois
• Les discussions sur l’accessibilité se concentrent souvent sur l’accessibilité de sortie pour les personnes malvoyantes ou aveugles, mais l’accessibilité d’entrée, c’est-à-dire la capacité à transmettre des commandes à l’ordinateur, est tout aussi importante
• Après un diagnostic de syndrome d’Ehlers-Danlos, les petits muscles des poignets et des doigts ont été endommagés, rendant l’usage du clavier et de la souris difficile ; une rééducation spécialisée a permis de récupérer une partie de l’usage des mains, mais pas assez pour tenir toute une journée de travail
• Si le bureau Linux devient exclusivement Wayland, les outils actuels qui permettent de piloter l’ordinateur en utilisant très peu les mains n’obtiendront pas le niveau d’intégration système nécessaire
• La transition vers Wayland n’est pas simplement un changement de serveur d’affichage : pour certains utilisateurs, c’est une évolution qui leur fait perdre leur moyen d’accès à l’informatique et à leur vie professionnelle

L’environnement d’entrée mains libres fourni par Talon Voice

• Talon Voice combine un modèle de ML voix-vers-texte rapide et précis, un langage de script dédié et Python, afin de permettre aux utilisateurs d’étendre eux-mêmes la façon dont ils contrôlent les applications
• Talon permet de contourner l’absence d’intégration d’accessibilité côté application, une approche qualifiée d’accessibilité adversariale
• La collection de scripts talonhub/community est le composant essentiel à installer d’abord pour rendre Talon réellement pratique ; elle se compose de dizaines de milliers de lignes de code écrites à la main pour répondre aux besoins des utilisateurs
• Ce qu’il est possible de faire avec Talon :
  • changer le focus applicatif à la voix au lieu de sélectionner une application à la souris dans la barre des tâches
  • rédiger du texte avec Dictation Mode ; la majeure partie du texte d’origine a d’ailleurs été écrite avec Talon
  • contrôler entièrement le navigateur sans les mains grâce à l’extension Rango
  • utiliser un script personnel qui appelle via D-Bus le programme externe de voix-vers-texte dsnote pour rédiger de longs textes
  • faire défiler avec un sifflement, car l’action de scroll reste douloureuse quel que soit le périphérique d’entrée utilisé
  • envisager à l’avenir l’intégration d’une pédale dans Talon

gaze_ocr et la manipulation directe de l’écran

• gaze_ocr est une extension Talon qui lit le contenu de l’écran via OCR et permet de cliquer directement sur les objets affichés
• Sous Linux, aucun backend OCR n’est fourni par défaut, mais il a été possible d’en connecter un avec RapidOCR
• En l’utilisant avec un dispositif de suivi du regard, on peut distinguer le texte à l’écran en fonction de l’endroit exact que regarde l’utilisateur
• Une vidéo de présentation de 60 secondes est disponible ici : https://youtu.be/qkFy66WF3bU
• gaze_ocr peut interagir sans aucune intégration côté application, ce qui en fait un exemple représentatif d’accessibilité fonctionnant même dans un environnement où les applications ne coopèrent pas

Cursorless et le développement piloté par la voix

• Cursorless est une extension Visual Studio Code qui permet de référencer des tokens à la voix grâce à des expressions basées sur l’arbre syntaxique du code source et aux hats affichés au-dessus de chaque token
• Une démo textuelle est disponible dans l’explication de Cursorless par Xe Iaso
• Combiné au support de rédaction vocale pour plusieurs langages de programmation dans talonhub/community, il devient possible d’écrire du code entièrement sans les mains
• Par exemple, pour se déplacer au début d’une phrase, on regarde la couleur du hat et la position des lettres au-dessus de « Cursorless », puis on dit quelque chose comme « pre pink cap » pour référencer ce caractère
• Cette méthode utilise le système d’épellation vocale de Talon
• Cursorless offre une manière de rédiger plus puissante que les éditeurs traditionnels au clavier ou même les éditeurs pilotés par la voix, au point de devenir un outil central pour lequel des implémentations spécifiques ont été écrites pour les logiciels utilisés au travail
• La valeur de Talon dans son ensemble va au-delà de la compensation d’un handicap : il propose une façon plus nouvelle et plus puissante d’interagir avec l’ordinateur

Pourquoi Talon casse sous Wayland

• Le bureau Linux est en train de passer de X11, vieux de plus de 40 ans, à Wayland, que la communauté des bureaux FOSS a choisi comme avenir
• Talon doit s’intégrer en profondeur au gestionnaire de fenêtres et au compositeur pour assurer ses fonctions de base, mais Wayland ne fournit aucun moyen standard d’effectuer ces opérations
• Même l’automatisation la plus élémentaire de la saisie de texte semble impossible « à la manière Wayland » ; le mainteneur de xdotool, outil d’automatisation d’entrée devenu standard de fait sous X11, a étudié la question sans parvenir à une conclusion claire
• Les besoins de Talon vont au-delà de la saisie de texte : ils incluent la gestion des fenêtres, le positionnement de la souris, la gestion du presse-papiers et la lecture de l’écran
• Il ne suffit pas de répondre que c’est possible sur GNOME mais pas sur KDE, ou que c’est déjà implémenté sur wlroots
• Il est irréaliste pour un développeur cross-platform d’écrire des implémentations séparées pour plusieurs compositeurs comme GNOME, KDE, wlroots ou Niri basé sur Smithay
• La contrainte essentielle est qu’aucun compositeur n’implémente l’ensemble de la surface d’API nécessaire à Talon

Vers la suppression du support Linux dans Talon

• Aegis, développeur principal de Talon, a déclaré qu’avec la disparition de X11 et la migration des utilisateurs vers des environnements où tout ne fonctionne plus, il allait bientôt supprimer tout support Linux des versions publiques
• Talon est divisé entre un niveau gratuit et un niveau payant, ce dernier conservant temporairement le support de X11
• La décision de retirer Linux des versions publiques vise à réduire la charge liée aux utilisateurs gratuits surpris de constater après installation que Talon ne fonctionne pas sous Wayland
• Cette décision ne relève pas de la malveillance, mais d’un constat pragmatique : il n’existe aucun moyen de supporter le bureau Linux en 2027
• S’il n’existe aucun moyen de supporter le bureau Linux, la réponse possible devient la suppression pure et simple de ce support

Une tâche qui revient à la communauté

• Les conditions posées par Aegis aux utilisateurs qui veulent sauver Talon sur Linux :
  • ne discuter du support Wayland avec Aegis sous aucun prétexte
  • que la communauté se mobilise pour implémenter avec succès l’ensemble de la surface d’API nécessaire à Talon sur GNOME, KDE et wlroots
  • qu’un nouveau backend Wayland pour Talon puisse ensuite être examiné
• Cette tâche reste difficilement accessible à la communauté, et l’écosystème Wayland est décrit comme peu accueillant face aux problèmes rencontrés par les utilisateurs
• Le protocole xdg-session-management a mis six ans entre la première pull request et son aboutissement
• Le protocole ext-zones, fusionné récemment, a demandé plus de deux ans avant d’être intégré, sans même compter les années de R&D nécessaires pour concevoir l’idée initiale
• Au départ, le problème semblait venir du fait que les mainteneurs ne connaissaient pas les besoins en accessibilité d’entrée, ce qui retardait leur résolution ; mais après lecture des archives de mailing lists et des discussions passées, l’impression devient que l’état où « personne n’en parle » produit lui-même ce résultat

La difficulté de participer à l’écosystème Wayland

• Dans les discussions passées, deux réponses posent particulièrement problème :
  • la réponse de Nate Graham aborde la réalité selon laquelle les développeurs d’applications devraient contribuer à l’upstream Wayland
  • dans un fil Fedora DEI sur l’accessibilité qui ne cite pas Talon par son nom, la réponse d’un mainteneur GTK refuse de participer à la discussion, qualifie les utilisateurs d’« accessibility maximalists » et renvoie vers des ressources sans lien direct avec l’accessibilité d’entrée
• Ces réponses, ainsi que l’état de wayland-protocols, affaiblissent fortement l’idée qu’une communication supplémentaire suffirait à résoudre le problème
• L’écosystème Wayland semble exiger de la participation tout en ignorant les besoins d’accessibilité, ou en demandant des années de travail à temps plein pour obtenir de petits progrès
• On en vient presque à conclure que si les problèmes d’accessibilité d’entrée ne sont pas suffisamment discutés en public, c’est parce qu’essayer paraît inutile
• C’est dans ce contexte qu’on comprend pourquoi le développeur de Talon considère le bureau Linux comme une cause perdue et a transféré à la communauté l’éventuelle possibilité de le sauver

Pourquoi il n’est pas souhaitable de quitter le bureau Linux

• Le bureau Linux reste l’environnement que l’on souhaite continuer à utiliser : il offre Plasma, le support de jeux souhaité, les outils de développement nécessaires et des outils récents pour de nouveaux blocs matériels
• L’absence de publicité, de refontes d’interface médiocres et d’IA injectée partout fait aussi partie des raisons de vouloir rester sur le bureau Linux
• Comme l’écrivait Fireborn l’an dernier, Wayland a grandi et il faut désormais essayer de contribuer
• Il faut rendre explicites les besoins en accessibilité, la manière dont Talon y répond et les raisons pour lesquelles un avenir exclusivement Wayland ne peut pas les satisfaire
• Si quelqu’un connaît une voie à suivre, c’est une situation dans laquelle il est possible d’aider les utilisateurs ayant besoin d’accessibilité d’entrée

Les possibilités et limites des périphériques d’entrée humains

• Six mois d’usage de Talon et des technologies associées ont montré qu’il était possible de continuer à vivre et à travailler même sans pouvoir utiliser un clavier et une souris traditionnels
• Dès qu’on sort d’une vision centrée sur le clavier et la souris, il apparaît que les possibilités des périphériques d’entrée humains sont bien plus vastes
• Les ordinateurs modernes permettent déjà des modes d’entrée où un modèle de ML scanne tous les caractères à l’écran, suit le caractère regardé par l’utilisateur et clique directement sur ce texte en moins d’une seconde
• Le Svalboard, clavier spécialisé, fera bientôt l’objet d’un article séparé ; cet appareil n’existait pas il y a trois ans
• Talon continue de s’améliorer, propose déjà énormément de commandes et permet aussi d’écrire ses propres commandes lorsque cela ne suffit pas
• Pour essayer soi-même ces nouvelles formes d’entrée, il ne faut pour l’instant pas utiliser Wayland

[GN⁺]

Commentaires sur Lobste.rs

• Ce long texte verbeux n’a pas pour but de s’en prendre aux personnes vulnérables, mais de trouver les bonnes personnes à qui parler pour résoudre un problème grave et difficile
  Si vous êtes cette personne, ou si vous en connaissez une, ce serait bien de me contacter
  Il y avait aussi un article publié auparavant sur lobste.rs : https://lobste.rs/s/o0x7rb/your_mouse_free_setups
  Grâce aux suggestions faites à l’époque, j’ai découvert Talon et Svalboard pour la première fois, et j’en suis très reconnaissant

  • Ce billet a été partagé dans des salons de discussion KDE. Je ne peux rien garantir, mais les gens sont au courant de la situation
    Je ne travaille pas sur cette stack, mais je suis vraiment désolé, et je vais faire de mon mieux pour mieux faire connaître ce problème dans les espaces KDE. Quelqu’un ayant les bonnes connaissances pourra peut-être améliorer la situation
    Encore une fois, je ne peux rien garantir, mais je voulais vous dire que nous vous entendons et que nous voulons clairement aider
    Les personnes intéressées peuvent rejoindre les salons Matrix : #kde-accessibility:kde.org, #kwin:kde.org
    En plus, quelqu’un a demandé à l’équipe de développement de Talos comment le faire fonctionner sous Wayland, mais un développeur Talos a répondu : « Wayland is not supported. »

• Je me demande si ce billet pourrait parvenir à des décideurs en achat public de logiciels
  Si la bonne personne envoyait un e-mail disant que « les utilisateurs de dispositifs d’entrée assistée vont bientôt perdre un parcours d’accessibilité pris en charge, donc il est impossible de certifier des distributions desktop Linux basées sur Wayland comme Ubuntu ou Red Hat au regard des critères EN 301 549/Section 508 », cela pourrait beaucoup aider à débloquer l’impasse actuelle

  • Mais en réalité, y a-t-il seulement des gouvernements qui utilisent Linux sur desktop à grande échelle ?
    Aujourd’hui, je pense qu’une manière très indirecte d’améliorer l’accessibilité de Linux serait qu’une organisation essaie de gagner de l’argent en vendant des desktops Linux à des administrations. Pour y parvenir, elle devrait probablement résoudre les problèmes d’accessibilité
    Vu la situation mondiale actuelle, je m’attendais à voir apparaître des acteurs cherchant à gagner de l’argent avec des offres permettant aux gouvernements de moins dépendre d’Apple et de Microsoft
    Si j’ai bien compris, une grande partie des progrès en accessibilité dans l’univers UNIX date aussi de l’époque où Sun vendait des desktops au secteur public

• J’ai moi aussi reçu un diagnostic d’EDS, mais à 12 ans. Personne ne m’a dit que cette maladie allait s’aggraver, on m’a plutôt dit que « ça finirait simplement par disparaître avec le temps »
  Avec les années, la force de mes mains a diminué au cours de l’année écoulée, au point d’être plusieurs fois pris à tort pour des problèmes neurologiques
  Je sais que le temps dont je dispose pour configurer un système utilisable sans les mains se réduit. En voyant les compositeurs Wayland devenir la norme et X être écarté, je perds la motivation d’apprendre Talon, que m’avait recommandé un autre ami atteint d’EDS
  J’aimerais aider à mettre en place du support tant que j’en suis encore capable, mais je ne sais pas par où commencer, et j’ai l’impression que presque personne ne s’en soucie. Cette situation est vraiment pénible

  • Ce ressenti me parle profondément. Deux mois après mon diagnostic, j’ai fini par me décider à passer à X11. Avant cela, j’utilisais Speech Note sous Wayland et je naviguais lentement et douloureusement au trackpad
    Revenir à une architecture « ancienne » pour pouvoir utiliser un vrai système d’accessibilité a été une avancée énorme, et je regrette de ne pas l’avoir fait plus tôt. Quelle que soit l’évolution future de l’accessibilité sur desktop Linux, il vaut mieux commencer à utiliser Talon dès maintenant
    Concernant la force musculaire, cela peut sembler impossible pour l’instant, mais une récupération est possible, et plus on commence tôt, mieux c’est. Comme je l’ai dit plus haut, après quelques mois de kinésithérapie intensive, j’ai pu récupérer un usage partiel de mes mains
    J’ai suivi cette récupération sur plusieurs mois, et j’ai vu des progrès consistant à retrouver dans l’ordre inverse les capacités perdues l’année précédente
    Donc plus tôt on commence le traitement, plus tôt on peut récupérer, quel qu’en soit le résultat final. Moi aussi, je suis encore sur ce chemin, et je le serai probablement encore longtemps
    Si vous êtes aux États-Unis, vous pouvez consulter ce site pour trouver un kinésithérapeute susceptible de vous aider : https://www.ehlers-danlos.com/eds-echo-healthcare-professionals/
    Il ne faut pas aller voir n’importe quel kinésithérapeute. Beaucoup ne sont pas préparés à traiter des patients atteints d’EDS, et cela peut aggraver la situation au lieu de l’améliorer
    Je peux partager plus en détail mon parcours personnel de diagnostic et de traitement en DM ou sur une autre plateforme. N’hésitez pas à me contacter si vous le souhaitez

• Merci d’avoir soulevé un problème qui touche beaucoup de monde
  Cela dit, j’aurais préféré qu’une phrase ne figure pas dans le billet : « L’important, c’est que plus personne ne veut toucher à cette base de code poubelle, et que Wayland est l’avenir choisi par la communauté desktop FOSS »
  Ni freedesktop, ni Red Hat, ni GNOME, ni vous, ni moi ne pouvons parler au nom de l’ensemble de la communauté desktop FOSS. Cette communauté n’est pas un bloc homogène, même s’il existe bien sûr plusieurs chambres d’écho
  Je ne pense pas que le sentiment général et le consensus soient aussi unanimes que certains voudraient le faire croire. Quelques projets majeurs semblent ne pas avoir encore tranché, et aucun n’a promis d’aller entièrement vers Wayland en abandonnant X. Considérer cela comme déjà acté n’est pas une vérité gravée dans le marbre
  Cela dit, ce serait dommage s’il fallait abandonner Linux pour passer à BSD

  • La phrase du billet d’origine est factuelle. Les mainteneurs de Xorg se sont réellement « retirés de cette base de code poubelle », et personne ne les y a forcés
    C’est un inconvénient concret de la do-ocracy dans le FOSS. S’il n’y a pas assez de gens qui veulent faire quelque chose, ou assez de gens capables et prêts à en payer le coût, alors cette chose n’arrive pas
    Certes, n’importe qui peut maintenir et distribuer un fork de Xorg pour raviver la flamme, mais le simple fait que cela ne soit pas encore arrivé parle de lui-même « au nom de toute la communauté desktop FOSS »
    Les BSD ajoutent eux aussi le support de Wayland et, à ma connaissance, aucun projet BSD n’a annoncé de fork maintenu. Et je ne considère pas XLibre comme un fork viable
    Je reconnais le privilège de ne pas encore subir de handicap physique majeur, et je compatis à la situation décrite dans le billet d’origine. Le niveau d’accès dont Talon a besoin serait peut-être mieux implémenté sous forme de plugin KWin
    Mais comme Talon est closed source, c’est difficile à évaluer, et la maintenance semblerait aussi assez délicate

• J’avais conscience de certaines limites de Wayland, mais en tant qu’utilisateur léger, je n’avais rencontré que de petites bizarreries et je n’avais jamais eu à traiter directement ce type de problème
  J’espère que ce billet contribuera à faire connaître le problème parmi les personnes qui peuvent réellement faire bouger les choses
  Je me demande s’il serait acceptable de republier ce billet ailleurs sur Internet pour élargir sa portée. J’inclurais clairement la mise au point d’origine indiquant qu’il n’y a absolument aucune intention de s’en prendre aux personnes vulnérables, et je dirais aux gens de garder pour eux leurs réactions colériques

• Talon est impressionnant. Je n’avais absolument aucune idée qu’une telle chose était possible
  Les langues idéographiques sont probablement dans une situation similaire. Au bout du compte, l’adoption de Wayland se heurtera à un mur dans certaines régions, à moins que ce problème ne soit corrigé

• Je me demande si ce problème pourrait être discuté dans le contexte de l’European Accessibility Act
  Je ne connais pas bien le texte de la loi, mais je sais que l’accessibilité du système d’exploitation en est un élément central. Cela semble être un problème que Linux devra résoudre pour être conforme, et dont on pourrait parler avec des développeurs ainsi qu’avec des organismes européens de financement comme la Sovereign Tech Agency ou NLNet

  • Si je me souviens bien, l’ADA américaine est bien plus stricte et bien plus ancienne que la réglementation européenne sur l’accessibilité, mais cela n’a malgré tout pas empêché Red Hat de vendre au gouvernement américain

• Je n’ai jamais utilisé Talon, mais j’ai déjà assez facilement réaffecté des périphériques MIDI, comme une pédale de sustain de piano, vers d’autres entrées à l’aide d’un petit programme relais
  Le matériel est assez bon marché et il existe beaucoup d’options, donc avec un peu de code de raccordement on peut les détourner de manière créative. Cela vaut la peine d’y réfléchir

  • C’est un peu à côté du sujet, mais les périphériques d’entrée personnalisés pourraient être une piste intéressante pour l’accessibilité, et il existe déjà des communautés autour de choses comme les claviers open source / DIY
    Le trackball ploopy pourrait sans doute aussi être modifié pour être utilisé avec le pied. Il faudrait une boule plus grande et un réglage de la sensibilité, et les boutons devraient être repensés, mais dans la version la plus simple on pourrait aussi imaginer un pavé de boutons séparé actionné avec l’autre pied, comme avec un clavier scindé

• Au sujet du passage disant que « l’an dernier, le mainteneur de xdotool, l’outil d’automatisation d’entrée de facto standard sur X11, a étudié comment faire cela puis est reparti en étant perdu », quelqu’un a réessayé cette année et a fait pas mal de progrès
  Par exemple : https://hachyderm.io/@whack/116554328265192238. Il semble maintenant travailler sur des tâches annexes liées aux tests automatisés sur plusieurs environnements de bureau

• Je me demande si Wayback pourrait servir de solution de contournement temporaire à court ou moyen terme

  • Ce n’est pas adapté à cet usage. Wayback sert à faire tourner sur Wayland des bureaux uniquement X11 comme Window Maker, afin de retirer de la pile logicielle le serveur Xorg, qui n’est presque plus maintenu
    Le projet est porté par des personnes du côté d’Alpine, car elles veulent arrêter le packaging de Xorg sans pour autant abandonner les gestionnaires de fenêtres qui ne sont pas encore passés à Wayland
    Le billet original parle, lui, de la suppression par Plasma et Gnome de la prise en charge de leur session X11 respective