Tokuin - outil CLI Rust pour estimer l’usage de tokens LLM et les coûts d’API

• Outil CLI multiplateforme permettant d’estimer rapidement et avec précision le nombre de tokens et le coût d’API pour plusieurs fournisseurs/modèles LLM comme OpenAI, Claude, Gemini et OpenRouter
• Prend en charge le calcul des tokens par modèle et calcule automatiquement le coût des appels API à partir du tarif par token de chaque modèle
• Offre des fonctionnalités adaptées aux workflows réels, au-delà d’un simple prompt unique : format de chat JSON, ventilation des tokens par rôle (system/user/assistant), comparaison des tokens et des coûts entre plusieurs modèles, minification Markdown, mode diff, mode watch
• Avec la fonctionnalité load-test, fonctionne comme un runner de test de charge mesurant en une seule fois la concurrence, la latence, le taux d’erreur, les tokens et les coûts pour OpenAI, Anthropic, OpenRouter et des endpoints personnalisés
  • Le mode dry-run permet de prévoir les coûts sans effectuer d’appels réels
• Prise en charge de nombreux formats d’entrée et de sortie
  • Entrée : prise en charge du texte brut et du format de chat JSON, avec entrée par fichier, entrée standard et fonction de comparaison de prompts (diff)
  • Sortie : prise en charge de divers formats comme text/json/csv/Prometheus/markdown
• Grâce à un fichier de tarification personnalisé (TOML), il est possible de maintenir la précision de l’estimation des coûts tout en s’adaptant aux variations de prix selon les modèles
• Son architecture modulaire — tokenizer, définitions de modèles, parseur, sortie, HTTP/fournisseurs et simulateur — en fait une conception adaptée à l’ajout de nouveaux modèles et fournisseurs ainsi qu’à l’intégration dans des pipelines CI/automatisation