LLM open source vs API LLM des Big Tech : coûts et risques pour les activités IA

GPT-4.5, une durée de vie commerciale de 4,5 mois

• GPT-4.5, le modèle le plus cher au moment de son lancement en février 2025 (75 $ en entrée / 150 $ en sortie par million de tokens), a été retiré de l’API avant d’atteindre cinq mois d’existence. C’est le modèle le plus éphémère de l’histoire d’OpenAI, et les développeurs qui avaient bâti des produits dessus se sont retrouvés piégés dans des cycles de migration.
• La leçon qu’en a tirée le marché était : « ne bâtissez pas votre activité sur le modèle de quelqu’un d’autre ». Le sujet de cet article est que cette leçon n’est qu’à moitié vraie.

La couche modèle est en cours de commoditisation

• Selon SWE-bench Verified, les cinq meilleurs modèles se tiennent dans un écart de 0,4 point, alors que leurs prix varient d’un facteur 5. Sur l’ensemble du marché, l’écart entre les tokens les moins chers et les tokens de raisonnement premium dépasse 600 fois : le prix n’est plus un indicateur indirect de performance.
• L’écart entre les modèles à poids ouverts et les modèles frontier fermés se situe en moyenne à 4 mois sur les benchmarks publics (8 à 10 mois sur les benchmarks privés), et reste stable depuis plus de 18 mois. L’écart existe bien, mais il est étroit, prévisible et ne s’élargit pas.

Quatre risques liés à la dépendance aux API frontier

• Variation des prix : Claude 3.5 Haiku a vu son prix multiplié par 4 avant un retrait partiel un mois plus tard ; o3 a baissé de 80 % du jour au lendemain. De nouveaux tokenizers peuvent aussi produire jusqu’à 35 % de tokens en plus pour un même texte : le problème n’est pas la direction, hausse ou baisse, mais la variance.
• Cycles de retrait : en février 2026, GPT-4o, 4.1 et o4-mini seront arrêtés en bloc avec environ trois mois de préavis. On parle même désormais de « prompt drift », quand des prompts peaufinés pendant un an se comportent différemment sur un nouveau modèle.
• Absorption par la plateforme : la vulnérabilité des wrappers GPT, lorsque le fournisseur intègre dans son propre produit des fonctions assurées jusque-là par les wrappers.
• Réglementation : en juin 2026, Anthropic Fable 5 a été suspendu dans le monde entier pendant 19 jours à cause de directives américaines de contrôle des exportations — une variable que même le fournisseur ne peut pas choisir.

Ces quatre risques viennent d’un même problème : la dépendance à un frontier hébergé par quelqu’un d’autre

• Faire tourner de l’open source soi-même élimine les variations de prix, les retraits et les suspensions réglementaires, et atténue l’absorption par la plateforme. Des poids déjà téléchargés ne sont ni retirés ni récupérés.
• Côté coûts, il faut être honnête : avec un GPU grand public en auto-hébergement, on est autour de 1 $ par million de tokens (amortissement sur 3 ans + électricité, taux d’utilisation de 30 %), plus cher que les API à poids ouverts les moins chères (0,14 $ / 0,28 $). En coût absolu, c’est perdant.
• L’intérêt économique de l’auto-hébergement ne se situe pas dans la moyenne, mais dans la variance. En outre, les API les moins chères conservent les données d’entrée pour l’entraînement : le coût caché du prix le plus bas, ce sont vos données.

Même diagnostic, prescription opposée

• Le diagnostic selon lequel une activité de contenu dépendante d’API frontier est fragile à l’échelle des Big Tech est correct.
• Mais quand un petit acteur fait tourner lui-même de l’open source dans la zone du good-enough, il coupe la dépendance même qui crée cette fragilité. Copier tel quel le diagnostic des Big Tech sur une petite startup est une erreur.

Ce n’est pas gratuit pour autant (4 freins)

• Un input commoditisé produit un output commoditisé : les douves ne viennent que de la distribution, de données exclusives, de l’intégration métier, de la vérification et du jugement, des dimensions orthogonales à l’IA.
• La barre du good-enough monte : s’y garer, c’est se garer dans une zone de baisse des marges.
• La frontière n’est pas le domaine, mais la difficulté de la tâche : dans l’évaluation du NIST, les meilleurs modèles à poids ouverts étaient quasiment à égalité avec les modèles frontier en mathématiques, mais accusaient plus de 30 points de retard en cybersécurité, raisonnement abstrait et codage agentique de longue durée.
• L’auto-hébergement exige directement des compétences d’exploitation, de tuning et de validation, ainsi que la responsabilité de la conformité : la dépendance n’a pas disparu, elle s’est déplacée du fournisseur d’API vers mes propres capacités.

Conclusion : le vrai terrain de compétition, c’est la vérification et le jugement

• Même avec le même modèle ouvert, si vous publiez directement la sortie, c’est une démo ; si vous placez les faits, chiffres, formules et identifications derrière une couche de vérification, c’est un produit.
• Le terrain décisif d’AI Content, c’est le jugement d’ingénierie qui transforme un modèle bon marché en produit fiable ; l’open source devient une arme pour ceux qui possèdent ce jugement.

Article rédigé par mes soins. Les échanges d’avis sur la conception de stacks entre exécution locale et API sont les bienvenus.