DroidClaw — un projet open source qui réutilise un ancien téléphone Android comme agent IA

https://github.com/unitedbyai/droidclaw
Il s’agit d’un framework d’agent IA mobile qui, lorsqu’on lui donne un objectif en langage naturel, reconnaît l’écran et exécute automatiquement des touches et des saisies via ADB.

Son fonctionnement est simple. Il répète en boucle : « capture de l’écran → reconnaissance par un modèle de vision → inférence de l’action suivante → exécution via ADB ». Par exemple, si vous saisissez « cherche Claude sur YouTube », il gère automatiquement tout le processus, du lancement de l’application à la saisie de la requête.

La différence avec les outils RPA existants, c’est qu’il comprend l’écran au lieu de fonctionner avec des coordonnées codées en dur. Il peut donc s’adapter dans une certaine mesure même si l’UI change.

Scénarios d’usage possibles :
∙ automatisation des tests d’UI d’applications
∙ connexion en parallèle de plusieurs téléphones pour répartir des tâches répétitives
∙ automatisations nécessitant un appareil physique (cas impossibles avec un émulateur)

Si vous avez un vieux téléphone qui traîne dans un tiroir, vous pouvez l’essayer facilement. Il suffit d’une connexion ADB.