Lancement de la version Android de Project Gameface

• Project Gameface, open source, annoncé lors de Google I/O 2023
  • Une « souris » de gaming mains libres qui permet de contrôler le curseur de l’ordinateur à l’aide des mouvements de tête et des gestes du visage
  • Les utilisateurs peuvent cliquer et faire glisser en levant les sourcils, ou déplacer le curseur en ouvrant la bouche, ce qui améliore l’accessibilité dans les jeux
• Ce projet a été lancé en s’inspirant de l’histoire de Lance Carr, streamer de jeux vidéo atteint de tétraplégie à cause d’une maladie musculaire
  • Google a collaboré avec Lance pour concrétiser Project Gameface

Utilisations du projet

• Davantage de code est désormais publié en open source afin d’aider les développeurs à créer des applications rendant tous les appareils Android plus accessibles
• Le projet suit de manière fluide les expressions faciales et les mouvements de tête via la caméra de l’appareil, puis les convertit en commandes intuitives et personnalisées
• Les développeurs peuvent désormais créer des applications dans lesquelles les utilisateurs configurent leur expérience en personnalisant les expressions faciales, l’amplitude des gestes, la vitesse du curseur, etc.

Trois principes clés pour concevoir Project Gameface pour Android

1. Offrir aux personnes handicapées un nouveau moyen supplémentaire d’utiliser les appareils Android
2. Construire une solution rentable pouvant être déployée à grande échelle
3. S’appuyer sur les enseignements et les orientations issus du premier lancement de Gameface pour développer un produit convivial et personnalisable

Implémentation du curseur sur les appareils Android

• Lancement d’une nouvelle manière d’utiliser les appareils Android
  • Sur la base des retours positifs sur Project Gameface, l’équipe a constaté que développeurs et utilisateurs appréciaient fortement l’idée de déplacer le curseur avec les mouvements de tête et d’exécuter des actions via les expressions faciales
• Reprise de la même idée pour introduire un nouveau curseur virtuel sur les appareils Android
  • Un nouveau curseur a été créé à l’aide du service d’accessibilité Android, puis programmé pour se déplacer selon les mouvements de tête de l’utilisateur en s’appuyant sur l’API Face Landmarks Detection de MediaPipe
• L’API contient 52 valeurs de face blendshapes représentant l’intensité de 52 gestes faciaux, comme lever le sourcil gauche ou ouvrir la bouche
  • Certaines de ces valeurs sont utilisées pour mapper et contrôler efficacement un large éventail de fonctions, offrant davantage de possibilités de personnalisation et d’interaction
  • Les coefficients de blendshapes permettent aussi aux développeurs de définir des seuils différents pour chaque expression spécifique afin de personnaliser l’expérience

Visualisation de Project Gameface

• Les meilleures fonctionnalités du service d’accessibilité Android ont été intégrées à Project Gameface
• Actions mobiles
  • Dans la version Windows de Project Gameface, l’utilisateur peut reproduire les actions de clic classiques
  • Mais sur Android, les fonctions à exécuter sont plus variées
  • Il existe des événements tactiles envoyés à l’OS ainsi que des actions globales comme « retour », « bascule multitâche » et « accueil »
  • L’API d’accessibilité Android a été utilisée pour déterminer quelles actions proposer à l’utilisateur
  • Actuellement, Project Gameface pour Android prend en charge GLOBAL_ACTION_HOME, GLOBAL_ACTION_BACK, GLOBAL_ACTION_NOTIFICATIONS, GLOBAL_ACTION_ACCESSIBILITY_ALL_APPS
• Flux caméra
  • Le flux caméra améliore fortement l’expérience utilisateur en permettant des réglages de seuil plus précis et une meilleure compréhension des gestes
  • Il indique aussi clairement à l’utilisateur que la caméra est activement utilisée pour comprendre ses mouvements de tête et ses gestes
  • Créer simplement le flux caméra sous forme de superposition empêchait l’accès à des sections importantes comme les réglages Android
  • En utilisant le service d’accessibilité Android avec Project Gameface, la caméra peut rester affichée même dans les réglages Android et d’autres sections importantes
• Possibilité d’effectuer une “action de glisser-déposer”
  • Le service d’accessibilité Android ne propose actuellement pas de méthode simple pour effectuer un glisser sur l’écran avec lequel l’utilisateur interagit en temps réel
  • Cependant, le produit a été amélioré pour inclure une fonction de glisser, permettant à l’utilisateur de définir les points de départ et d’arrivée
  • En conséquence, l’action de glisser est exécutée de manière fluide le long du trajet défini
• Attentes et ouverture
  • L’équipe se dit enthousiaste quant au potentiel de Project Gameface et espère que développeurs et entreprises l’utiliseront pour créer de nouvelles expériences
  • Le code de Gameface est désormais disponible en open source sur GitHub