Video scraping : extraire des données JSON pour 0,1 centime à partir de 35 secondes de capture d’écran

• Besoin d’additionner des valeurs numériques dispersées dans 12 e-mails différents
• Au lieu de copier manuellement, l’auteur a enregistré une capture d’écran pendant qu’il parcourait son compte Gmail, puis a utilisé Google Gemini pour extraire les nombres de la vidéo, avec d’excellents résultats

Video scraping rentable avec AI Studio et QuickTime

• D’abord, enregistrement de l’écran avec QuickTime Player tout en parcourant les e-mails concernés
• La vidéo enregistrée, d’une durée de 35 secondes, a été envoyée dans AI Studio de Google, avec une demande adressée au modèle Gemini d’extraire les données au format tableau JSON
  • Le résultat a bien été renvoyé sous la forme d’un tableau JSON contenant les dates et les montants en dollars
• Il a ensuite demandé une conversion au format CSV afin de pouvoir coller le résultat dans Numbers
• Le coût a été extrêmement faible, de l’ordre de 0,1 centime ou moins. AI Studio est actuellement proposé gratuitement

Limites des alternatives

• La copie manuelle des données est fastidieuse et sujette aux erreurs
• Utiliser l’API Gmail est complexe et demande beaucoup d’efforts
• L’automatisation du navigateur nécessite une étape séparée d’analyse des e-mails
• L’usage d’outils d’IA sophistiqués ayant accès au compte e-mail comporte des risques, notamment de prompt injection

Avantages du video scraping

• Possibilité d’extraire tout ce qui est visible à l’écran
• L’utilisateur contrôle parfaitement ce qu’il expose au modèle d’IA
• N’est pas affecté par l’authentification des sites web ni par les techniques anti-scraping
• Aucun coût d’installation
• Utilisable à un coût très faible
• Peut aussi être très utile dans le domaine du journalisme de données

Bonus : calculateur de prix pour les LLM

• L’auteur a également créé un outil séparé pour calculer le prix des tokens
  • Il avait utilisé ChatGPT Code Interpreter, mais des erreurs de calcul se sont produites
• Il a ensuite créé le calculateur de prix avec Claude 3.5
  • Il est possible de définir manuellement le prix des tokens d’entrée/sortie ou d’utiliser des boutons de préréglage selon les modèles
• L’ensemble du processus de création a été amélioré de manière itérative en 10 versions en 19 minutes via une conversation avec Claude
• Les informations tarifaires ont été extraites par Claude à partir de captures d’écran directement insérées dans la conversation