Existe-t-il des outils ou des projets, en local ou avec une interface Web UI, qui permettent de journaliser lors de l’utilisation d’une IA les entrées et sorties, ainsi que le fonctionnement du processus (recherche Web, autorisations d’exécution, exécution, etc.), bref toutes les actions visibles au niveau du système ?
Même partiellement, cela m’intéresse. Qu’il s’agisse d’un service commercial, par exemple.
Dans le cas de Claude Code, par exemple, on lance Claude depuis le terminal avec claude, puis on obtient ensuite une journalisation des entrées et sorties, ainsi que des tâches exécutées par le processus Claude pendant son fonctionnement (réseau, actions locales, etc.)...
7 commentaires
Je l’ai mis en place avec clickstack. En configurant otel pour lui envoyer les données.
N’est-ce pas les fonctionnalités proposées par le proxy LiteLLM et par LangSmith ?
Argos, ou Cursor Mafia ? Il existe un service géré par quelqu’un qui fait du vibe coding et qui vient de l’équipe de développement de Toss ; l’auto-hébergement est aussi possible, et on peut surveiller plusieurs comptes via des clés API ou selon le plan, avec apparemment des fonctionnalités comme voir combien de sessions ont tourné, quels outils ont été utilisés, etc.
Je ne me souviens plus très bien si ça ne marchait qu’avec Claude, mais si vous comptez en créer un sur mesure, ça peut valoir le coup d’aller regarder comment c’est fait.
Si vous êtes plutôt du côté de Claude Code, essayez donc cc-token-saver (https://github.com/ww-w-ai/cc-token-saver).
Claude Code enregistre pour chaque session, dans un transcript (.jsonl), toutes les entrées/sorties ainsi que les appels d’outils (lecture/écriture de fichiers, exécution de bash, requêtes web, etc.), et cc-token-saver analyse ces données pour visualiser dans un tableau de bord HTML ce qui a été fait par session et où, ainsi que combien de tokens ont été consommés. Vous pouvez voir d’un coup d’œil « quels fichiers l’IA a touchés dans cette session, combien de fois elle a exécuté des commandes et combien cela a coûté ».
En particulier, la fonctionnalité /continue sert à restaurer des sessions existantes en analysant le transcript, et comme cette capacité d’analyse du transcript peut être utilisée telle quelle, vous pouvez aussi lui donner une consigne du type : « analyse les entrées, les sorties et les informations réseau pour le cas où /continue ~ ». (Le LLM adaptera et appliquera cela de lui-même de manière appropriée)
Pas seulement pour l’IA : vous pouvez utiliser
straceou divers outils de débogage.Si vous voulez créer quelque chose d’aussi abouti qu’un service, regardez du côté des outils basés sur eBPF.
Quand on pose la question elle-même à Gemini, quelques options ressortent. Avez-vous essayé de chercher de cette façon ?
On peut vouloir entendre les réponses des membres de la communauté plutôt que celles de Gemini. Je pense que c’est une question légitime.