Show HN : Autotab — une extension Chrome basée sur l’IA pour générer des scripts Selenium
(autotab.com)- Autotab est une extension Chrome basée sur l’IA qui effectue des tâches dans le navigateur local et vise aussi la génération de scripts Selenium
- Les utilisateurs peuvent transmettre leurs flux de travail via un message vidéo ou de la documentation, afin d’apprendre une tâche à Autotab comme ils l’expliqueraient à une personne
- Elle est utilisée par des entreprises du Fortune 500 et des entreprises technologiques en forte croissance pour réduire les goulots d’étranglement liés au recrutement, à l’onboarding et à l’administration
- Son champ d’application couvre un large éventail de tâches répétitives basées sur le navigateur, comme la collecte de données, la saisie de formulaires, l’envoi de messages ou le déclenchement de remboursements
- Si vous n’êtes pas sûr qu’une tâche puisse être traitée, vous pouvez envoyer un enregistrement de la tâche et recevoir une réponse sous 24 heures ; les entreprises qui envisagent de remplacer un BPO peuvent prendre contact séparément
Apprendre et exécuter dans le navigateur local
- Autotab est un agent IA polyvalent qui apprend et exécute les tâches confiées par l’utilisateur d’une manière proche de celle d’un humain au travail
- Les tâches se déroulent dans le navigateur local de l’utilisateur, qui peut voir ce qu’Autotab est en train de faire
- Un flux de travail spécifique peut être transmis comme lors d’un passage de relais à une personne
-
Formation à partir de messages vidéo et de documents
- Il est possible d’expliquer une procédure de travail au moyen d’un message vidéo ou de documents préparés
- La structure permet de transmettre même des workflows complexes d’une façon adaptée à la manière dont une personne expliquerait son travail
-
Les tâches répétitives visées en entreprise
- Autotab est déployé dans des entreprises du Fortune 500 et des entreprises technologiques qui doivent accompagner une forte croissance
- Ses principaux cas d’usage concernent les situations où le recrutement, l’onboarding et les tâches administratives n’arrivent pas à suivre le rythme de la croissance
- Exemples de tâches réalisables :
- Collecte de données : recherche de leads, collecte d’informations pour des rapports, migration complète de systèmes
- Saisie de formulaires : saisie de données dans des formulaires administratifs, des applications d’administration internes, des systèmes fournisseurs comme ERP, RMS ou TMS
- Exécution d’actions : envoi de messages sur n’importe quelle plateforme, déclenchement de remboursements et autres actions adaptées au contexte
Contact et vérification de l’applicabilité
- Si vous n’êtes pas certain qu’une tâche puisse être traitée, vous pouvez envoyer un enregistrement de la tâche à
record@autotab.comet recevoir une réponse sous 24 heures - Les entreprises qui souhaitent remplacer un BPO par une autre approche peuvent écrire à
enterprise@autotab.com
1 commentaires
Avis sur Hacker News
En tant que créateur du projet Selenium, je pense que l’automatisation des tests sera l’une des killer apps de l’IA.
Je me demande comment vous garantissez que l’IA n’hallucine pas les détails dans le code généré.
À l’avenir, la meilleure approche semble être de fournir un aperçu en temps réel où un navigateur miroir reproduit exactement la dernière action, afin de pouvoir déboguer immédiatement si une erreur survient ou si le résultat ne correspond pas à l’intention.
Je vais essayer d’automatiser de façon utile mon application web de système d’agents. C’est comme si, récursivement, l’automatisation s’occupait de l’automatisation.
Pour faire un peu de promo : https://github.com/agi-merge/waggle-dance
Je n’utilise pas Chrome au quotidien, mais je comprends pourquoi vous avez commencé par Chrome. J’aimerais quand même voir arriver des versions Firefox ou Safari.
Cela dit, en dehors d’une UI bien conçue, je me demande ce que waggledance apporte que les réponses de GPT-4 ne fournissent pas.
D’après mon expérience, la façon dont il crée et découpe les tâches ressemble beaucoup à ce qu’on obtient en demandant à ChatGPT.
J’ai déjà écrit moi-même des scripts Selenium pour automatiser le travail de mon père. Par exemple, il fallait récupérer des noms dans une feuille de calcul, les saisir dans le champ de recherche d’un site web, puis répéter la même action pour des centaines de personnes ; ça lui a fait gagner beaucoup de temps.
Si l’on peut rendre l’automatisation du navigateur plus facile simplement en montrant directement à la machine ce qu’il faut faire, je pense que cela simplifiera énormément la vie de beaucoup de gens, donc j’ai hâte d’essayer.
J’aimerais mettre ça sur un serveur et le proposer via BrowserBox, afin de permettre de créer des automatisations même sur mobile.
À l’origine, j’ai créé BrowserBox comme plateforme de diffusion d’un outil de création de web scraping qui ne soit pas lié aux extensions, mais en transformant le navigateur distant lui-même en produit, je ne suis pas encore arrivé jusqu’à l’outil de création d’automatisations.
Merci d’avoir construit ça et de l’avoir publié sous licence MIT. Je pense que l’avenir de ce domaine, c’est une façon de créer du web scraping guidée par l’humain et augmentée par l’IA.
Le nom est bien aussi. autotab
Il y a même un peu de « synergie », puisque le SaaS BrowserBox que je vais bientôt lancer s’appelle Cloudtabs.
https://github.com/BrowserBox/BrowserBox
Sur https://ray.run/, nous construisons presque exactement la même chose pour Playwright. Je n’ai aucun doute que l’avenir de l’écriture de tests va dans cette direction, et le lancement est prévu la semaine prochaine.
L’approche semble un peu différente. Nous utilisons le LLM uniquement pour identifier les éléments, et le générateur lui-même est construit avec https://ray.run/browser-extension.
Ou même le désactiver globalement. C’est assez gênant.
Je me demande en quoi c’est différent de la fonctionnalité Recorder de Chrome.
Dans DevTools > Recorder, on peut enregistrer un parcours utilisateur et l’exporter sous forme de script Puppeteer.
À l’avenir, je pense que la flexibilité du code Python et de son écosystème permettra de créer plus facilement davantage de fonctionnalités. Par exemple, les tâches basées sur le navigateur ne sont pas totalement déterministes, et pendant l’automatisation il faut souvent plus d’intelligence, comme résumer les informations d’une page web ou remplir dynamiquement une zone de texte avec une réponse appropriée.
En voyant l’investissement de YC, j’ai compris que c’était le fondateur de https://www.ztool.co. Je me demande s’il s’agit d’un pivot, ou d’un produit complémentaire à ztool.
Ce que nous avons appris ces derniers mois en construisant et en parlant avec les utilisateurs se résume à deux raisons qui nous ont menés à autotab.
Premièrement, les logiciels générés par IA ne sont pas encore prêts pour les utilisateurs non techniques. Avec ZTool, nous nous concentrions sur le fait de permettre aux personnes qui ne savent pas coder de créer facilement des automatisations, mais pour l’instant, nous pensons qu’il vaut mieux que la sortie du modèle soit du code. C’est pourquoi autotab cible les utilisateurs capables de relire et de modifier du code Python.
Deuxièmement, la manière de transmettre l’intention est importante. Passer de « cette tâche est pénible » à une représentation structurée demande étonnamment beaucoup d’effort mental. Les démos d’IA se sont concentrées sur la transmission de l’intention via de courts prompts, mais cela fonctionne mal dans les domaines complexes. Transmettre l’intention via le navigateur est très intuitif et familier, ce qui paraît puissant.
Il est indiqué qu’il faut « lancer une session Chrome contrôlée par Selenium, puis se connecter à Google » ; je me demande pourquoi la connexion Google est requise.
autotab record. Il n’est plus nécessaire de se connecter à Google dans le navigateur Selenium.Selon les retours, nous pourrions aussi proposer une option permettant aux utilisateurs d’apporter leur propre clé API OpenAI.
Je me demande s’il est possible d’enregistrer des workflows ou macros utilisables comme des raccourcis dans une fenêtre de navigateur déjà ouverte, ou si c’est limité à des processus d’automatisation qui ouvrent une fenêtre de navigateur et exécutent quelques actions.
Par exemple, si plusieurs onglets sont ouverts et que chacun contient le même élément, comme le bouton plein écran de YouTube, j’aimerais savoir si Autotab peut enregistrer quelque chose comme « quitter le plein écran, passer à l’onglet suivant, mettre la vidéo de cette page en plein écran ».
Ce type de macro est très intéressant, et nous avons beaucoup discuté de la manière dont le navigateur pourrait être conçu pour ce type d’IA et d’automatisation.
Pour rendre ceci aussi utile que possible, il faudrait qu’un LLM doté d’un ensemble de règles puisse interpréter la situation dynamique d’une page et agir en conséquence.
Par exemple, lorsqu’on veut ajouter un article au panier, si le LLM détecte, via une règle, qu’il est en rupture de stock, il effectue une autre action.
Je me demande si ce type de logique de branchement basée sur des règles et augmentée par LLM sera possible dans ce logiciel à l’avenir.
Deux questions intéressantes se posent : 1) quel est le format le plus efficace pour que l’utilisateur transmette son intention — peut-être que ce ne sera pas du point-and-click ; 2) comment représenter la sortie du modèle de manière à ce qu’elle soit auditable et modifiable, ce qui est essentiel.