Skyvern – automatisation des workflows de navigateur avec des LLM et la vision par ordinateur

• Les méthodes classiques d’automatisation de navigateur nécessitaient d’écrire des scripts basés sur l’analyse du DOM ou sur XPath, qui se cassent facilement dès qu’un site web change
• Skyvern résout ce problème en analysant en temps réel les éléments présents dans le viewport et en générant un plan pour interagir avec le site web
  • Comme il relie les éléments visuels aux actions, il fonctionne même sur des sites web qu’il découvre pour la première fois
  • Il s’adapte bien aux changements de mise en page des sites web
  • Grâce au raisonnement via les LLM, il peut aussi gérer des situations complexes
• Inspiré de la conception d’agents autonomes orientés tâches popularisée par BabyAGI et AutoGPT, il ajoute la capacité d’interagir avec des sites web à l’aide de bibliothèques d’automatisation de navigateur comme Playwright
• Une version cloud managée distincte de Skyvern est également proposée, permettant d’exécuter plusieurs instances de Skyvern en parallèle pour automatiser des workflows à grande échelle sans gérer l’infrastructure
• Nécessite Python 3.11, Brew (pour les utilisateurs Mac), Poetry et PostgreSQL 14