GLM 5.2 et l’effondrement à venir des marges sur l’inférence IA

• GLM 5.2 montre qu’un modèle à poids ouverts (open weights) peut approcher le niveau d’Opus et de GPT sur les tâches d’agent, ce qui pourrait mettre sous pression les fortes marges sur l’inférence des modèles frontier fermés
• Le véritable enjeu du coût de l’IA n’est pas tant le coût d’entraînement payé une fois que le coût d’inférence, qui augmente avec la demande ; un prix d’API autour de 25 $/MTok intègre probablement une marge brute élevée
• La qualité est difficile à distinguer de celle d’Opus, mais son caractère très « réfléchi » augmente la vitesse et la consommation de tokens ; l’absence de vision et une recherche web limitée restent ses points faibles
• Grâce aux endpoints compatibles OpenAI et Anthropic de Z.ai et Fireworks, on peut l’essayer dans Claude Code et Codex en remplaçant simplement la base URL et la clé API
• Le prix de GLM 5.2 est d’environ 4,40 $/MTok, soit moins de 20 % du tarif retail d’Opus et environ 15 % de celui de GPT5.5 ; il pourrait encore baisser avec l’optimisation de la stack de serving et l’usage d’AMD

---

Structure des coûts : l’inférence pèse plus sur les marges que l’entraînement

• À l’époque de DeepSeek R1, le marché a réagi aux informations selon lesquelles le coût d’entraînement du modèle V3 était inférieur à 6 millions de dollars, en y voyant le signe que les investissements massifs en infrastructure d’entraînement étaient terminés ; c’était plutôt une mauvaise lecture de la structure des coûts de l’IA
• Les coûts d’entraînement exigent beaucoup de capital, mais relèvent fondamentalement de coûts fixes payés d’avance
  • Les labs frontier entraînent en continu de nouveaux modèles pour rester compétitifs, ce n’est donc pas un coût totalement ponctuel
  • Mais cela reste d’une autre nature que les coûts d’inférence, qui augmentent avec l’usage des clients
• Les coûts d’inférence augmentent avec la demande et constituent le véritable coût marginal
• Quand Anthropic et OpenAI facturent l’inférence 25 $/MTok, certains calculs suggèrent une marge brute d’environ 90 % par rapport au coût de calcul
  • Des documents financiers fuités d’OpenAI suggèrent une marge brute d’environ 60 % sur le chiffre d’affaires, mais cela inclut probablement le support, le traitement des paiements et d’autres coûts de service
• Le modèle économique des labs d’IA frontier consiste à entraîner des modèles avec de la main-d’œuvre coûteuse et beaucoup de calcul, puis à amortir ces coûts grâce à de gros volumes d’inférence très rentables

Qualité de GLM 5.2 et expérience d’usage

• GLM 5.2 de Z.ai peut être considéré comme le premier véritable modèle concurrent à poids ouverts face à Opus et GPT
  • Au moment de la rédaction, le dernier GPT mentionné est GPT 5.5
  • Il est aussi suggéré que de futurs modèles pourraient dépasser ce niveau
• En usage réel, la qualité était suffisamment élevée pour être difficile à distinguer d’Opus utilisé au quotidien
• Son principal défaut est une lenteur ressentie
  • Ce n’est pas un gros problème pour des tâches d’agent non interactives et peu sensibles au temps, comme une review de PR en arrière-plan
  • En usage interactif, c’est un peu lent pour garder l’attention
  • Cette lenteur vient moins du serving lui-même que du fait que le modèle « réfléchit » beaucoup
  • La version GLM 5.2 de Fireworks a été lancée avec de bonnes performances en tokens/sec, mais la vitesse réelle restait assez irrégulière
• Cette tendance à davantage réfléchir augmente aussi la consommation de tokens, ce qui réduit en partie son efficacité économique

Les faiblesses côté vision et recherche web

• GLM 5.2 ne prend pas en charge la vision
  • Depuis les capacités de vision haute résolution d’Opus 4.7, les usages impliquant la lecture de PDF à base d’images, de captures d’écran et de fichiers de design se sont multipliés, ce qui rend cette faiblesse très perceptible
  • Cela reste un point faible important face aux labs frontier
• L’absence de recherche web, ou sa faible qualité, limite aussi les tâches d’agent
  • Presque toutes les sessions d’agent effectuent de nombreuses recherches web pour retrouver des éléments
  • Z.ai propose un MCP alternatif pour la recherche web, mais il était lent et de faible qualité
  • Fireworks ne fournit pas de fonctionnalité de recherche web
• Comme solution temporaire, on peut demander à l’agent d’utiliser une recherche web en CLI comme ddgr
• Une bonne API de recherche web tierce pourrait combler un vide important que les fournisseurs de modèles à poids ouverts n’ont pas encore comblé
• Les capacités de recherche web sont essentielles pour beaucoup de tâches d’agent et pourraient s’améliorer avec le temps, à mesure que les acteurs qui construisent des index de recherche mettront en place les bons partenariats et intégrations

Des modèles à poids ouverts avec un faible coût de remplacement

• L’aspect le plus menaçant pour les labs frontier est peut-être la faible difficulté de migration vers des modèles à poids ouverts
• Z.ai et Fireworks proposent tous deux des endpoints compatibles OpenAI et Anthropic
  • On remplace la base URL par celle du fournisseur d’inférence dans Claude Code et Codex
  • On configure la clé API
  • On sélectionne GLM 5.2 comme modèle à utiliser
• Dans un contexte où Anthropic a annoncé puis retiré une facturation API pour l’usage d’agent non interactif de claude -p, beaucoup de cas d’usage peuvent être remplacés par GLM
• Même en usage interactif, en dehors de l’absence de vision et de la lenteur, il était presque impossible de remarquer dans Claude Code qu’on utilisait autre chose qu’Opus
• Cette transition n’est pas une migration à planifier pendant des années, comme un lock-in à la Microsoft ou Salesforce
  • Le coût de changement est faible
  • Il peut être inférieur au coût consistant à suivre les changements de politique et de conditions des labs frontier
  • Claude Code pourrait à l’avenir rendre plus difficile l’usage de fournisseurs tiers
  • Il existe de nombreuses bonnes alternatives open source, dont Codex et OpenCode

Adoption en entreprise : protection des données et options de déploiement

• En entreprise, les inquiétudes récurrentes portent sur la confidentialité et la sécurité des données
• L’API officielle et l’abonnement de Z.ai paraissent difficiles à retenir pour les entreprises, en raison de conditions faibles et de liens étroits avec la Chine continentale
• Un modèle à poids ouverts permet de choisir d’autres fournisseurs
  • Le marché compte de nombreux fournisseurs avec des conditions contractuelles plus adaptées
  • Si nécessaire, un hébergement on-premise est aussi possible
• Un déploiement on-premise permet d’utiliser dans des workflows d’agent au niveau d’Opus des données encore plus sensibles, qui ne pouvaient être envoyées à aucun tiers

Prix et pression sur les marges

• Le prix actuel de GLM 5.2 est d’environ 4,40 $/MTok
  • Moins de 20 % du tarif retail d’Opus
  • Environ 15 % du coût de GPT5.5
• Ce n’est pas une comparaison totalement apples-to-apples, puisque GLM 5.2 consomme plus de tokens sur une même tâche
• Malgré cela, il est très probable qu’il fournisse une qualité comparable à un coût inférieur de plus de 50 % dans presque tous les workflows
• Z.ai propose aussi un abonnement « coding plan » similaire à ceux d’Anthropic et d’OpenAI, avec des limites d’usage plus élevées
  • Cependant, des conditions souples sur l’entraînement et la conservation des données peuvent compliquer sa vente pour un usage professionnel
  • Si les labs frontier augmentent fortement leurs prix, cela pourrait devenir une option crédible pour les utilisateurs sensibles au budget
• Le coût de GLM 5.2 devrait fortement baisser dans les prochains mois grâce à l’optimisation de la stack de serving
  • Wafer détaille l’exécution de GLM 5.2 sur du matériel AMD
  • L’article avance qu’exécuter l’inférence sur AMD réduit le coût par token d’un facteur 2,75 par rapport à Nvidia Blackwell
• Fireworks a proposé des crédits gratuits pour expérimenter avec GLM

[GN⁺]

Avis sur Hacker News

• Je ne suis pas sûr que le coût de revient lui-même soit si important

  1. Depuis l’arrivée du cloud, les coûts de calcul ont fortement baissé, mais les hyperscalers conservent toujours des marges élevées
  2. Il existe beaucoup de suites bureautiques open source, mais elles n’ont pas réussi à rivaliser avec l’omniprésence de G Suite ou d’Office ; c’est pareil pour GitHub et Slack
  3. Windows et macOS dominent le poste de travail domestique alors que des alternatives gratuites existent depuis longtemps
  4. Même des composants d’infrastructure autrefois open source, comme Redis et Elastic Search, continuent de dégager de bonnes marges malgré des alternatives de la famille Apache
     Je comprends l’argument de l’effondrement des marges, mais je ne vois pas vraiment d’analogies historiques convaincantes. Les entreprises paieront probablement cher pour des garanties de service, l’intégration et un interlocuteur qu’elles peuvent poursuivre en justice ; au fond, on semble revivre le vieux « personne ne s’est jamais fait virer pour avoir acheté IBM »
  • Je ne trouve pas cette analogie si évidente. D’abord, les LLM ont du texte en entrée et en sortie, donc il y a très peu d’effet de verrouillage et on peut facilement migrer. Ensuite, je pense qu’on sous-estime l’ampleur des factures que les entreprises paient, et les directions financières reçoivent déjà des consignes de maîtrise des dépenses même alors que les subventions sont importantes
    Troisièmement, la stratégie américaine semble consister à restreindre artificiellement l’accès à des modèles puissants ; si la Chine maintient son rythme actuel, elle sortira d’ici six mois un modèle aussi bon que Fable, sans le verrouiller. Si des modèles meilleurs et moins chers sont ouverts, l’incitation à basculer sera énorme, et la Chine aura beaucoup moins de raisons d’augmenter les prix si elle est en train de gagner des parts de marché. David Sacks et la stratégie IA du gouvernement américain sont très court-termistes, et je pense que cela va leur revenir en boomerang
  • Quand on cherche des analogies historiques, le biais du survivant pèse lourd. Dans les cas où les marges se sont effondrées et où la concurrence a banalisé une industrie, les grands noms monopolistiques de l’époque n’existent tout simplement plus
    Dans les années 1980, les marges des puces mémoire se sont effondrées et Intel a complètement quitté ce marché ; à l’époque, Intel était davantage connu comme une entreprise de puces mémoire que comme une entreprise de microprocesseurs. Les marges des stations de travail haut de gamme se sont aussi effondrées face aux compatibles IBM PC bon marché et à l’explosion des logiciels MS Windows, ce qui a directement contribué à la disparition de SGI, Sun, Symbolics, Lucid, LMI, etc.
    Les variantes UNIX propriétaires comme HP-UX, IRIX, AIX ou SCO Unix ont pratiquement disparu, remplacées par des systèmes d’exploitation propriétaires moins chers comme Windows et MacOS, ou par les descendants open source que sont Linux et BSD. Les éditeurs de bases de données commerciales comme Oracle, dBase, Sybase, FoxPro, SQL Server et Access de Microsoft ont aussi subi une forte pression sur leurs marges de la part de PostGres, MySQL et SQLite ; Oracle a survécu grâce à son immense base installée et à son équipe juridique, Microsoft grâce aux subventions croisées permises par ses monopoles sur l’OS et Office, mais dBase, Sybase et FoxPro ont disparu
  • Contrairement à ces exemples, changer de LLM est peu coûteux et facile. Dès qu’un nouveau modèle sort tous les trois mois, les gens commencent aussitôt à l’utiliser
    Quel que soit le fournisseur, l’expérience utilisateur est la même : on envoie un prompt et on reçoit une réponse. Dans les autres cas, il fallait accepter de perdre du support ou de traverser une période de transition difficile ; avec les LLM, il n’y avait presque pas de support au départ, et la migration se limite à mettre à jour le harnais actuel pour qu’il connaisse un autre modèle
    Une comparaison plus pertinente serait peut-être la montée en puissance d’AMD. Même si l’entreprise n’a pas dominé le marché, elle a fait de gros dégâts, notamment parce que l’AMD x86 était assez proche et compatible avec l’Intel x86 tout en étant beaucoup moins cher
  • Ces entreprises n’ont pas seulement besoin de bonnes marges : elles doivent récupérer près de 1 000 milliards de dollars en quelques années. La comparaison avec Elastic Search ou Redis n’est pas vraiment pertinente
    Les hyperscalers fonctionnent parce qu’ils apportent une valeur réelle par rapport aux alternatives gratuites et parce que les coûts de changement de fournisseur sont énormes. Remplacer Windows ou macOS par autre chose coûte aussi très cher, et c’est parfois impossible. Pour Office aussi, les coûts de migration sont élevés à cause des problèmes de compatibilité et de la formation des employés
    Au final, le point clé est l’effet de verrouillage, et jusqu’ici les LLM ne semblent pas en avoir. C’est pourquoi je pense que les arguments précédents ne s’appliquent pas bien ici
  • Si les suites bureautiques open source n’arrivent pas à rivaliser avec l’omniprésence de G Suite ou d’Office, c’est à mon avis parce que la collaboration est difficile à résoudre. Sans la collaboration, G Suite/Office n’apporte presque rien
    Mac OS aussi est gratuit. Au sens de « gratuit comme une bière »
    Il est vrai que les entreprises paient cher pour des garanties de service, l’intégration et un interlocuteur qu’elles peuvent poursuivre, mais à grande échelle, les entreprises américaines sont incroyablement riches et ne sont probablement pas de très bons exemples de dépensiers rationnels

• Le mois dernier, j’ai annulé mon abonnement Claude Pro et j’ai acheté des crédits Openrouter avec ces 20 dollars. Pour la plupart des questions d’exploration de connaissances, Gemma4 suffit ; pour l’édition de code basique, Qwen3.6 27b fait l’affaire ; et même pour les tâches vraiment difficiles, GLM5.2 tient le coup
  Je n’utilise pas énormément l’IA, donc avec un système de crédits API où j’emploie autant que possible le plus petit modèle adapté à la complexité de la tâche, j’économise plutôt de l’argent

• D’accord, mais dans l’autre sens. L’IA continue d’absorber mon travail d’ingénieur logiciel systèmes senior C/C++, et en plusieurs mois je n’ai dépensé que quelques centaines de dollars avec gpt-5.5/5.6 et codex
  Je ne sais pas ce que les gens font pour brûler autant de tokens, mais pour moi c’est ridiculement bon marché et je découvre de nouvelles fonctionnalités tous les jours. Que le coût monte ou baisse, c’est tellement peu cher par rapport à ce que j’obtiens que je ne m’en soucie pas

  • C’est parce que nous payons les prix grand public de détail, c’est-à-dire des abonnements. Les mêmes tokens coûtent des milliers de dollars dans la facturation entreprise
  • Les workflows agentiques consomment beaucoup. C’est le cas lorsqu’une boucle d’agents automatisée continue d’avancer vers un objectif
    Si l’on utilise un LLM comme assistant de travail personnel, on n’utilise pas tant de tokens que ça, mais si plusieurs agents travaillent de manière indépendante et relisent le travail des autres, le budget part vraiment très vite
  • À cause de l’ignorance, d’une mauvaise hygiène de code et de prompts maladroits. Comme quelqu’un qui sait à peine coder, à l’époque pré-agents, quand les limites d’utilisation de Gemini IDE étaient quasiment inexistantes, j’avais de vieux projets faits en vibe coding, et les fichiers avaient gonflé à plusieurs milliers de lignes, avec un backlog de bugs qui s’accumulait
    Les modèles stupides ont commencé à s’effondrer à ce stade, et comme le projet était à peu près utilisable pour mes besoins, je me suis arrêté. Ensuite sont arrivés le codage agentique et des modèles assez intelligents pour corriger les problèmes, mais la base de code était tellement en désordre qu’ils la traitaient de manière extrêmement inefficace. Quelques prompts suffisaient à épuiser mon quota de 5 heures
    Après avoir passé quelques jours à faire un agent.md correct et à refactorer la base de code, je ne consomme plus que des tokens au compte-gouttes. Je pense que beaucoup de gens sont encore dans le même bateau. Beaucoup d’entre nous ne connaissent absolument pas les bonnes pratiques, et ne savent pas non plus comment dire à un agent de se comporter
    Avec le recul, j’aurais dû passer quelques jours à apprendre les bases, mais le problème est qu’on ne sait pas ce qu’on ne sait pas. J’ai du mal à croire que les entreprises, lors de l’onboarding de nouveaux utilisateurs, promptent l’agent pour qu’il se comporte de manière attentionnée ; et il est dans leur intérêt de rendre des gens comme moi accros et de nous faire utiliser un maximum de tokens. J’ai dépensé quelques centaines de dollars de plus dans des abonnements et des paliers inutiles, mais à l’époque c’était peu par rapport au gain de productivité pour passer de 0 à 1
  • Même expérience. Je ne comprends vraiment pas comment les gens arrivent à brûler les volumes de tokens qu’ils annoncent
  • J’ai piloté l’écriture d’environ 500 000 lignes de code

• Le modèle lui-même n’a pas de fonctionnalité de vision native, donc il existe un vision MCP pour compenser : https://docs.z.ai/devpack/mcp/vision-mcp-server
  La recherche web était aussi globalement correcte. En utilisant le harnais ZCode, le quota Coding Plan augmente : https://zcode.z.ai/en
  Je l’ai essayé rapidement, c’est quelque part entre OpenCode Desktop et Claude Desktop. OpenCode Desktop est encore récent mais correct, et les versions récentes de Claude Desktop sont bonnes
  En tant que modèle, GLM 5.2 est globalement satisfaisant en mode réflexion maximal, quelque part entre Sonnet 5 et Opus 4.8, et nettement meilleur que DeepSeek V4 Pro
  Côté prix, l’abonnement ne semble pas aussi intéressant qu’espéré. Avec l’offre Pro à 50 dollars, j’ai utilisé environ 60 % de la limite hebdomadaire en une journée, et encore, seulement parce qu’on ne peut utiliser que 20 % par fenêtre de 5 heures ; sinon cela aurait été 80 à 100 %. Je n’ai rien fait de particulièrement délirant : juste de longues tâches en parallèle sur deux projets, avec environ 96 % de taux de hit du cache et jusqu’à 3 sous-agents de revue de code en parallèle
  L’abonnement Max à 100 dollars tiendrait toute la semaine, mais Anthropic fait aussi ça pour le même prix, et OpenAI le fera aussi. Les heures creuses sont meilleures, mais je ne peux pas rester les bras croisés de 9 h à 13 h heure locale
  Les vraies économies viendraient en combinant l’offre Max avec une facturation annuelle, mais c’est plus difficile à justifier

  • C’est tellement bon marché que j’ai passé Cline pass en facturation annuelle
  • Il y a aussi GLM-5V-Turbo : https://docs.z.ai/guides/vlm/glm-5v-turbo

• Il est important que ces entreprises ne puissent pas s’entendre pour maintenir les prix. Le fait que la Chine soit un concurrent le garantit
  Le moyen le plus simple de comprendre l’économie des tokens reste la microéconomie de base. Comment est-ce que cela pourrait ne pas être un marché concurrentiel, c’est-à-dire un marché où les profits tendent vers zéro ?
  Tout ce que A ou O feraient pour dégager plus de marge, un concurrent pourrait le copier ou proposer moins cher, et baisser les prix a aussi l’avantage de permettre de collecter des données d’entraînement. À part la collusion ou la fixation des prix, qu’est-ce qui peut empêcher la marge brute des tokens de tendre vers zéro ?

  • Il manque un élément : ce qui l’empêchera, c’est la politique industrielle fédérale
  • Observer les conditions à l’intérieur d’un marché unique, c’est toujours de la microéconomie. Je suis d’accord, mais il est difficile de voir d’où les entreprises tireront un pouvoir de marché, donc les profits devraient se rapprocher de zéro
    Cela dit, je pensais la même chose pour les GPU, et Nvidia semble toujours ne pas avoir de véritable concurrent dans les datacenters

• L’analogie que j’aime, c’est que l’IA deviendra aussi bon marché que l’électricité
  Quand vous utilisez de l’électricité, savez-vous qui la fournit et de quelle centrale elle vient ? Probablement pas. L’électricité est une commodité, largement stabilisée, et les ressources énergétiques sont nombreuses. Il y a aussi les énergies alternatives et les mines de charbon. Tout cela est en concurrence dans des échanges d’offre et de demande d’énergie en temps réel. Pensez ici à OpenRouter
  Au bout du compte, les consommateurs gagnent grâce à l’abondance
  Le plus grand exemple de cette abondance d’intelligence bon marché et infinie ne sera sans doute pas GLM5.2, mais DeepSeek V4 Pro max, à 0,435 dollar par million de tokens en entrée et 0,87 dollar par million de tokens en sortie

• Je ne comprends pas l’argument selon lequel « l’entraînement demande beaucoup de dépenses d’investissement, mais c’est un coût initial fixe ; une fois qu’on a dépensé des centaines de millions de dollars pour entraîner un modèle, c’est terminé ».
  S’il y a des concurrents et que les gens attendent toujours davantage, il faut continuer à entraîner de nouveaux modèles ; et si le coût d’entraînement semble augmenter de plus en plus par rapport au taux d’amélioration, n’est-ce pas un coût permanent qu’il faut continuer à supporter ? La note de bas de page laisse entendre ce point, mais donne finalement l’impression de l’évacuer un peu vite.
  Je me demande aussi s’il existe des coûts d’entraînement incrémentaux pour garder un modèle pertinent en continu. Ou bien le modèle ne connaît-il que les événements survenus jusqu’au jour où il a été entraîné ?

  • Ces modèles dépendent des connaissances intégrées dans leurs poids. Quand une nouvelle bibliothèque sort, qu’une nouvelle version de Linux apparaît, ou qu’un nouveau protocole remplace l’ancien, on veut que le LLM le sache.
    Bien sûr, on peut aussi le mettre dans la fenêtre de contexte, mais cela pose ses propres problèmes.
    À moins que quelques nouveaux travaux de recherche prometteurs n’apportent une nouvelle méthode, les coûts d’entraînement resteront un gouffre financier.
    En plus, si l’on arrête l’entraînement, six mois plus tard quelqu’un publie un modèle à poids ouverts, et l’on se retrouve à devoir concurrencer le même produit au prix le plus bas.
    Il ne faut pas non plus oublier que cette activité n’est pas un simple outil technique : elle doit absolument s’insérer dans le marché mondial du travail. Pour justifier une valorisation de 1 000 milliards de dollars, les modèles doivent devenir bien meilleurs.

• L’article parle du « changement à venir le moins compris dans l’économie de l’IA », puis aborde un sujet qu’on voit tous les jours dans l’actualité IA. On a l’impression qu’il n’a jamais entendu dire que les modèles open source deviennent moins chers et gagnent en qualité.
  D’abord, selon n’importe quel critère, GLM5.2 n’est pas aussi bon qu’Opus.
  Ensuite, il est vrai que les modèles open source finiront par exercer une pression sur les marges, et tout le monde le sait. Mais part-on du principe que le modèle économique actuel de l’IA sera le même demain ?

  • GLM-5.2 n’est pas aussi bon qu’Opus, il est meilleur. On peut désinhiber GLM-5.2 et l’utiliser sur des projets qu’Opus refuse.
  • Cela dépend de ce que l’on fait. Pour des tâches complexes ou mal définies, Opus est probablement le bon choix, mais pour des tâches relativement simples ou très bien définies, GLM-5.2 est tout aussi bon et généralement beaucoup plus rapide.
    Sa personnalité est aussi plus neutre et moins antagoniste qu’Opus. Opus donne toujours l’impression de dire « pour contester ce point... », alors que GLM ressemble davantage à « oui, compris ! ». J’utilise les deux et j’ai une bonne opinion des deux, mais si Opus disparaissait demain, je ne pleurerais pas. Je pourrais m’adapter très vite avec GLM-5.2 seul.

• On dit que les capacités de recherche web de GLM 5.2 sont mauvaises, mais à mon avis c’est la faute du harnais.
  J’ai lancé ma propre instance SearXNG sur un VPS et je l’ai intégrée à Pi avec un outil webfetch ; jusqu’ici, GLM 5.2 m’a bien trouvé ce que je cherchais. Je lui ai demandé les dernières nouvelles d’un journal en ligne autrichien difficile à parser à cause de surcouches publicitaires agressives, et les applications de chat par défaut de ChatGPT comme de Claude ont toutes deux échoué. GLM 5.2 dans Pi a été assez malin pour rechercher le flux RSS et m’a fourni une vue d’ensemble détaillée.
  L’absence de vision est vraiment regrettable. J’ai implémenté une solution de contournement dans Pi et elle fonctionne à peu près correctement, mais ce n’est pas si bon que ça et l’expérience globale est maladroite.

• Cela ressemble à un article assez vide de sens qui ne regarde que les tokens de sortie.
  Dans le codage agentique, les tokens d’entrée mis en cache représentent 90 % du « coût » API. Ils ne nécessitent pas de calcul GPU, et DeepSeek a montré qu’avec MLA/CSA/HCA et beaucoup de disque, on peut les traiter pour 50 à 100 fois moins cher. C’est cela qui fera s’effondrer les marges.

  • Les labos d’IA américains ne sont-ils pas en train de chercher désespérément d’autres marchés que le codage agentique ?
  • MLA/CSA/HCA ne sont-elles pas toutes des techniques de compression avec pertes ? Je me demande si ce n’est pas aussi l’une des raisons pour lesquelles les gens se plaignent d’une dégradation de la qualité à mesure que la taille du contexte augmente.
  • Le commentaire actuellement le mieux classé sur https://lobste.rs/s/ua1gxl/glm_5_2_coming_ai_margin_collapse pointe précisément les tokens d’entrée mis en cache, mais arrive à la conclusion inverse.
    Il dit en substance : « avec un forfait à 100 dollars par mois, on reçoit l’équivalent de 3 600 dollars d’utilisation d’API. C’est sans doute parce qu’Anthropic a trouvé des méthodes intelligentes pour le routage de modèles et la mise en cache des entrées, et parce qu’elle subventionne le tout avec l’argent des investisseurs tout en acceptant des pertes de marge opérationnelle ».
    Mon interprétation, c’est que c’est exactement l’image qu’Anthropic veut que tout le monde croie. En réalité, 90 % de ces 3 600 dollars sont des tokens d’entrée mis en cache et, comme DeepSeek l’a montré, on peut les rendre presque gratuits.