Notes sur le nouvel outil d’analyse d’exécution de code JavaScript de Claude

• Anthropic a lancé l’« Analysis Tool » pour l’interface de chatbot de Claude.ai
• Cet outil est similaire au mode interpréteur de code de ChatGPT d’OpenAI et permet à Claude d’écrire et d’exécuter du code afin d’utiliser les résultats dans la conversation
• Les utilisateurs peuvent activer cette fonctionnalité depuis la page des feature flags de Claude

Fonctionnement de l’exécution de code JavaScript

• L’interpréteur de code de ChatGPT et Google Gemini fonctionnent en écrivant du code Python puis en l’exécutant sur un serveur sandbox sécurisé
• Claude utilise JavaScript au lieu de Python et l’exécute directement dans le navigateur
• Il s’exécute dans un Web Worker limité et communique avec la page principale via l’interception des messages console.log()
• L’outil est implémenté sous la forme d’un repl, et on peut demander à Claude via un prompt de décrire la fonction repl

repl

• repl est un REPL JavaScript
• Il sert à résoudre des problèmes mathématiques complexes ou à analyser de gros fichiers utilisateur
• Il peut lire les données des fichiers partagés avec la fonction fs.readFile()
• Il est possible d’utiliser des bibliothèques comme Lodash et Papa Parse
• Ce n’est pas un environnement Node.js, et il faut utiliser une syntaxe import de style React
• L’interaction entre l’outil d’analyse et Claude Artifacts est quelque peu déroutante
  • Le code de l’outil d’analyse ne partage pas son environnement avec un Artifact
  • Pour réutiliser le code de l’outil d’analyse dans un Artifact, il faut réécrire l’intégralité du code
• Les fichiers téléversés sont actuellement ajoutés au contexte de Claude, ce qui impose une limite de taille, et seuls les formats texte fonctionnent

Résumé de GN⁺

• Le nouvel outil d’analyse de Claude se distingue de ChatGPT et de Google Gemini par son fonctionnement basé sur JavaScript, exécuté directement dans le navigateur
• Il inclut des capacités de traitement de fichiers, ce qui semble utile pour les tâches d’analyse de données
• Cependant, il ne prend encore en charge que les fichiers texte et son intégration avec Artifacts paraît encore assez limitée, ce qui laisse une marge d’amélioration
• Pour les utilisateurs qui préfèrent les solutions basées sur Python comme celles d’OpenAI ou de Google, l’approche peut sembler un peu déroutante
• Si la prise en charge des fichiers binaires ou de fonctions supplémentaires comme SQLite arrive à l’avenir, son utilité pourrait encore augmenter

[GN⁺]

Commentaire Hacker News

• L’idée d’exécuter JavaScript côté client pour réduire les coûts serveur est intéressante

  • Anthropic réalisera probablement des économies en n’ayant pas à exécuter le serveur à chaque fois

• Les instructions personnalisées du modèle précisent : « ceci est similaire à la syntaxe antArtifact utilisée pour Artifacts, mais ce n’est pas la même chose »

  • La formulation du prompt système, qui semble presque présenter des excuses au modèle, est intéressante

• Je cherchais le bon modèle pour exécuter du code JavaScript non fiable dans un bac à sable du navigateur, et Anthropic semble avoir résolu le problème

  • Leur code JavaScript est tellement obfusqué qu’il est difficile à rétroconcevoir

• J’ai essayé des tests de génération de code avec Claude et ChatGPT

  • Pour les tâches Python, Sonnet (version antérieure à 3.5) était meilleur que ChatGPT en lisibilité, structure et compréhension du prompt
  • Après être passé à un projet JavaScript, Sonnet 3.5 s’est montré plus verbeux et a nécessité des corrections, tandis que ChatGPT était plus concis et plus précis
  • J’attends de voir si Claude s’améliorera en se concentrant sur JavaScript

• duckdb-wasm serait un bon ajout

  • Je l’utilise chez Definite et j’ai une opinion positive de duckdb

• JavaScript est le langage parfait pour ce travail

  • J’attends avec impatience un environnement de code en bac à sable où l’IA pourra fonctionner librement

• C’est une excellente avancée, mais je ne pense pas que ce soit très utile tant qu’on ne sort pas du problème de la fenêtre de contexte

  • J’ai de grandes attentes vis-à-vis d’Anthropic, et je suis heureux que cela ne soit pas devenu un marché où le gagnant rafle tout, comme je l’avais prédit en 2021