2 points par GN⁺ 11 일 전 | Aucun commentaire pour le moment. | Partager sur WhatsApp
  • Un outil de calcul permettant d’analyser le problème posé par le nouveau tokenizer d’Opus 4.7, qui fait que le même prompt est comptabilisé avec davantage de tokens
  • Une même entrée est mappée vers 1,0 à 1,35 fois plus de tokens selon le type de contenu, ce qui entraîne une hausse du coût par requête sans même changer les mots
  • D’après les mesures réelles, Opus 4.7 affiche en moyenne, par rapport à Opus 4.6, une hausse de +37,4 % du nombre de tokens de requête et du coût par requête
  • Sur les 50 cas les plus récents, la hausse va d’un minimum de +19,0 % à un maximum de +86,2 %, avec une large concentration de cas dans les +30 % et +40 %
  • Sur cette page, il suffit de coller une conversation, un prompt système ou du texte pour obtenir une comparaison détaillée entre Opus 4.7 et 4.6 sur le nombre de tokens ainsi que le coût selon les tarifs actuels

Contexte de création de cet outil

  • Dans l’annonce de sortie d’Opus 4.7, il était présenté comme une mise à niveau directe par rapport à Opus 4.6, mais deux changements ont un impact sur l’usage des tokens
    • Avec le tokenizer mis à jour, une même entrée est mappée vers 1,0 à 1,35 fois plus de tokens selon le type de contenu
    • À des niveaux d’effort élevés, en particulier dans les tours tardifs d’environnements agentiques, le modèle raisonne davantage, ce qui augmente le nombre de tokens de sortie
  • La fiabilité sur les problèmes difficiles s’améliore, mais cela a un impact direct sur une structure de coût fondée sur les tokens

Impact pour les utilisateurs

  • Même avec exactement le même texte de prompt, Opus 4.7 compte davantage de tokens, ce qui augmente le coût par requête sans modifier la formulation
  • Tokenomics permet de coller n’importe quelle conversation, prompt système ou texte afin de vérifier directement la différence de nombre de tokens entre Opus 4.7 et 4.6
  • L’outil calcule également la différence de coût précise selon les tarifs actuels

Page des moyennes de la communauté

  • La page /leaderboard agrège les données de comparaison anonymisées des utilisateurs de l’outil
  • Elle permet de voir, en conditions réelles, la hausse moyenne du nombre de tokens selon différents types de prompts

Points à connaître

  • Texte des prompts non conservé : l’entrée est analysée dans le navigateur puis envoyée au serveur, qui la transmet à l’API de comptage de tokens d’Anthropic ; le texte du prompt n’est pas stocké en base de données, seuls des indicateurs anonymisés de comptage de tokens sont conservés
  • Ce n’est pas un produit officiel d’Anthropic : l’outil a été créé par Bill Chambers et n’a aucun lien d’affiliation, de validation ni de sponsoring avec Anthropic
  • Open source : l’intégralité du code source est publiée sur GitHub (bllchmbrs/tokensmatter), avec contributions et retours bienvenus

Moyennes de la communauté

  • Sur la base de comparaisons de requêtes réelles soumises anonymement, la page récapitule les écarts de tokens de requête et de coût de requête entre Opus 4.7 et Opus 4.6
    • Statistiques établies à partir de 425 soumissions au total
    • La liste des comparaisons récentes porte sur les 50 plus récentes, triées par ordre décroissant de date
  • Variation moyenne des tokens de requête : +37,4 %
  • Variation moyenne du coût de requête : +37,4 %
  • Taille moyenne des requêtes : 369 / 495
    • Le texte source ne donne pas d’explication supplémentaire sur ces deux valeurs

Exemples récents de comparaisons anonymes

  • Dans le tableau des 50 cas récents, la plupart des entrées montrent une hausse des tokens de requête et une hausse du coût dans la même proportion pour Opus 4.7
    • Exemple 1 : soumission 6b5d3ebf, requête 23 → 31, coût $0.000345 → $0.000465, variation +34,8 %
    • Exemple 2 : soumission 1363973a, requête 99 → 130, coût $0.001485 → $0.001950, variation +31,3 %
    • Exemple 3 : soumission 17a9645e, requête 16 → 20, coût $0.000240 → $0.000300, variation +25,0 %
  • La hausse est visible même sur de petites requêtes
    • Soumission 10c3149a, requête 8 → 14, coût $0.000120 → $0.000210, variation +75,0 %
    • Soumission 8f58e536, requête 8 → 13, coût $0.000120 → $0.000195, variation +62,5 %
    • Soumission 942f5d38, requête 12 → 19, coût $0.000180 → $0.000285, variation +58,3 %
  • Des hausses comparables se répètent aussi sur des requêtes de taille intermédiaire
    • Soumission 67f5f437, requête 188 → 275, coût $0.002820 → $0.004125, variation +46,3 %
    • Soumission 04249c86, requête 176 → 256, coût $0.002640 → $0.003840, variation +45,5 %
    • Soumission af25da70, requête 269 → 501, coût $0.004035 → $0.007515, variation +86,2 %
  • Le même schéma d’augmentation apparaît aussi sur les grosses requêtes
    • Soumission c5d75d71, requête 2,263 → 3,282, coût $0.0339 → $0.0492, variation +45,0 %
    • Soumission 4db385b5, requête 1,592 → 2,205, coût $0.0239 → $0.0331, variation +38,5 %
    • Soumission 68375705, requête 4,449 → 6,434, coût $0.0667 → $0.0965, variation +44,6 %
  • De nombreuses soumissions contiennent des valeurs identiques répétées
    • Le cas 175 → 221 en requête, $0.002625 → $0.003315 en coût, variation +26,3 %, revient sur plusieurs identifiants de soumission
    • Le cas 996 → 1,392 en requête, $0.0149 → $0.0209 en coût, variation +39,8 %, revient sur plusieurs identifiants de soumission
    • Le cas 43 → 61 en requête, $0.000645 → $0.000915 en coût, variation +41,9 %, revient sur plusieurs identifiants de soumission

Aucun commentaire pour le moment.

Aucun commentaire pour le moment.