Token Limit - Surveille le nombre de tokens consommés par le code et les fichiers de configuration dans les outils d’IA.

En travaillant sur des projets utilisant des fichiers de contexte pour l’IA (CLAUDE.md, .cursorrules, etc.), j’ai continué à être surpris par les factures de l’API. J’ai réalisé qu’il est difficile d’estimer précisément le coût en tokens à partir de la seule taille des fichiers.

J’ai donc créé un outil CLI appelé Token Limit :

• calcule le nombre réel de tokens à l’aide des tokenizers officiels
• permet de définir un budget en tokens ou en dollars ("100k", "$0.50")
• s’intègre au CI pour détecter à l’avance les changements coûteux avant la mise en production
• prend en charge tous les modèles récents (GPT-4, Claude 3.5, o1, etc.)