Comment un token d’IA traverse un datacenter

• En 2026, l’inférence IA représentait environ deux tiers de l’ensemble du calcul IA, et 80 à 90 % du coût de calcul sur le cycle de vie des modèles déployés ; le coût de traitement des tokens et la latence déterminent donc l’économie de l’infrastructure
• Une requête traverse un parcours en 15 étapes — tokenisation, passerelle API, authentification, routage, planification, cache KV, GPU et HBM, noyaux CUDA, NVLink, commutateurs, NIC et Ethernet — avant de revenir sous forme de réponse
• Le prefill, qui traite l’entrée en parallèle, est contraint par la quantité de calcul et la latence du premier token, tandis que le décodage, qui génère les tokens un par un, est limité par la bande passante mémoire, la vitesse de génération et le coût ; le batching, la quantification et le décodage spéculatif ciblent donc des goulets d’étranglement différents
• Le continuous batching et PagedAttention augmentent le taux d’utilisation des GPU et le débit simultané ; le prompt caching réduit le coût des entrées répétées jusqu’à 90 % et la latence des longs prompts d’environ 85 % ; la séparation prefill/décodage permet d’exploiter des pools de GPU distincts par étape
• Le coût pour fournir un niveau de qualité donné a chuté d’une médiane annuelle d’environ 200×, mais le débit a été multiplié par 7 ; la valeur à long terme se concentre sur les plateformes d’inférence qui transforment les goulets physiques — bande passante HBM, réseau NVLink, composants optiques, énergie — et l’efficacité en verrouillage client

---

Pourquoi l’inférence est devenue le centre de l’économie de l’IA

• Les chatbots, agents de code, résumés de recherche et légendes d’images sont tous des tâches de génération de tokens qui font passer un modèle entraîné en propagation avant pour prédire de façon répétée le token suivant ; ce processus est l’inférence
• Google a indiqué qu’en mai 2026, ses services traitaient 3,2 quadrillions de tokens par mois
  • Annualisé, cela représente environ 38 quadrillions de tokens
  • C’est 7 fois plus que les 480 billions de tokens par mois un an plus tôt ; début 2024, le volume était de 9,7 billions de tokens par mois
  • Ce chiffre correspond au coût de réponse aux requêtes utilisateur, et non à l’entraînement
• La part de l’inférence dans le calcul IA est passée d’environ un tiers en 2023 à la moitié en 2025, puis à environ deux tiers en 2026
• Pour un modèle déployé, l’inférence est un coût des revenus répété à chaque requête ; selon une règle empirique du secteur, elle représente 80 à 90 % du coût de calcul sur le cycle de vie
• Les dépenses d’investissement annoncées par les quatre grands hyperscalers pour 2026 atteignent environ 725 milliards de dollars, soit une hausse de 77 % sur un an
  • Plus de 60 % de ce montant va non pas aux puces, mais à l’énergie, au refroidissement et aux bâtiments
  • Le seul marché du silicium dédié à l’inférence devrait dépasser 50 milliards de dollars en 2026
• Deux évolutions alimentent la demande d’inférence
  • L’extension du temps d’inférence et les systèmes agentiques consomment 10 à 100 fois plus de tokens par requête
  • Les workflows agentiques coûtent 5 à 25 fois plus par tâche qu’une requête unique, en raison des nouvelles tentatives, des appels d’outils et du rechargement du contexte
• Le coût pour fournir un niveau de qualité donné a chuté, depuis début 2024, d’une médiane annuelle d’environ 200×, mais les tokens moins chers ouvrent davantage de cas d’usage et accroissent l’utilisation totale, illustrant le paradoxe de Jevons
• Le batching, le paging, la quantification, le décodage spéculatif, le serving désagrégé et les fabrics réseau visent tous à réduire le coût par token pour une latence cible

Étapes 1 à 4 : transformer le texte en tâche pouvant être batchée

• Étape 1 : utilisateur et tokenisation

  • Le client envoie du texte via HTTPS, mais le modèle reçoit en entrée non pas du texte, mais des identifiants entiers
  • Un tokenizer fondé sur le BPE au niveau des octets découpe la chaîne en tokens de sous-mots, puis associe chaque token à un identifiant dans un vocabulaire d’environ 100 000 à 200 000 entrées
  • Dans l’exemple, le RFP de 12 000 tokens et la question deviennent une séquence plate de 12 022 identifiants entiers
  • La tokenisation s’effectue de manière déterministe sur CPU et coûte très peu, mais le nombre de tokens en entrée et en sortie détermine le montant facturé
  • La fenêtre de contexte de 200 000 à 1 million de tokens des modèles frontier en 2026 constitue la limite supérieure de la taille des documents pouvant être fournis en une seule fois

• Étape 2 : passerelle API

  • La passerelle API termine TLS, parse la requête, puis effectue la validation de schéma, la gestion des versions d’API, un rate limiting approximatif, l’attribution d’un identifiant de traçage et le premier enregistrement de l’usage
  • Avec des proxys de classe Envoy ou NGINX et un pare-feu d’application web, elle traite des millions de requêtes par seconde, sans exécuter la logique du modèle
  • Son budget de latence est inférieur à 1 milliseconde ; elle rejette avant qu’il n’atteigne les ressources coûteuses environ 5 % du trafic correspondant à des erreurs de format, des dépassements de quota ou des requêtes agressives

• Étape 3 : authentification et niveau de facturation

  • Une clé API ou un token OAuth est rattaché à une organisation afin de vérifier le niveau de rate limiting et le plafond de dépenses, puis de déterminer le prix par token applicable
  • L’éligibilité aux remises sur entrées mises en cache, aux chemins prioritaires et aux tarifs moins chers de traitement par lots est également fixée à cette étape
  • En établissant l’isolation des données par organisation et les frontières anti-abus, elle transforme des octets anonymes en unité de travail mesurée, facturée et isolée

• Étape 4 : répartition de charge

  • Un load balancer classique répartit les requêtes entre des réplicas identiques du modèle à l’aide de health checks et de signaux de charge en temps réel
  • Pour les LLM, un simple round-robin peut envoyer des requêtes ayant le même prompt système ou le même préfixe de document vers des réplicas différents, faisant perdre des opportunités de réutilisation du cache
  • Le load balancing IA moderne évolue vers une approche consciente du cache, qui choisit un réplica disposant du cache KV du même préfixe, avec un rôle qui recoupe celui du routeur d’inférence de l’étape suivante
  • Lorsque l’ensemble des machines est saturé, c’est aussi à cette étape qu’il est décidé de mettre les requêtes en attente ou de renvoyer 429

Étapes 5 à 6 : choisir le lieu d’exécution et le batch

• Étape 5 : routeur d’inférence

  • Le routeur d’inférence choisit en quelques millisecondes le modèle, le silicium et le réplica
  • Parmi un modèle frontier 70B, un 8B distillé, un modèle de raisonnement ou une paire modèle brouillon/modèle cible, il sélectionne la configuration la plus économique qui respecte l’objectif de niveau de service
  • Traiter avec un 70B une requête qu’un modèle 8B suffit à satisfaire consomme inutilement de la marge
  • Le prefill centré calcul dépend des FLOPS, tandis que le décodage centré mémoire dépend de la bande passante HBM ; le GPU le plus adapté peut donc varier au sein d’une même requête
  • Envoyer la requête vers une instance disposant du cache KV du même préfixe peut transformer un prefill de 12 000 tokens en quasi-simple hit de cache
  • Les compilateurs et auto-tuners précompilent et ajustent les kernels GPU adaptés au modèle, à la forme d’entrée et à la puce, puis choisissent à l’exécution le plan le moins coûteux
  • Together AI, Fireworks, Baseten et Modular industrialisent à cette couche le choix des kernels, des puces et de la précision, et le monétisent via leur propre infrastructure d’inférence

• Étape 6 : ordonnanceur et continuous batching

  • Avec une taille de batch de 1, un H100 est limité par la mémoire plutôt que par le calcul, si bien que le taux d’utilisation des multiprocesseurs de streaming reste autour de 30 à 40 %
  • L’ordonnanceur utilise le continuous batching pour ajouter de nouvelles requêtes à chaque propagation avant et retirer les séquences terminées
  • Il peut ainsi remplir le GPU en continu, sans attendre qu’un lot fixe de requêtes soit entièrement terminé
  • vLLM atteint ainsi un débit 2 à 4 fois supérieur à celui des anciens systèmes de serving, et traite 3 à 5 fois plus de trafic qu’une simple boucle PyTorch sur le même H100

Étapes 7 à 8 : cache KV et gestion de la mémoire GPU

• Étape 7 : cache KV

  • À chaque couche d’attention, des vecteurs Key et Value sont créés pour chaque token, et le token suivant consulte les K/V de tous les tokens précédents
  • Les recalculer à chaque fois entraînerait un coût en O(n²) pour les longs contextes ; le prefill calcule donc une fois les K/V des 12 022 positions et les stocke dans le cache KV
  • Ensuite, la phase de décodage ajoute un seul K/V pour le nouveau token et lit le cache existant
  • Le cache KV grossit selon le nombre de séquences simultanées et leur longueur ; c’est la structure qui consomme le plus de mémoire GPU, et de manière dynamique, pendant le serving

• PagedAttention et prévention de la fragmentation

  • Comme la longueur des séquences est difficile à prévoir, une allocation de mémoire contiguë peut rendre 60 à 80 % de la mémoire inutilisable
  • PagedAttention / vLLM découpe le cache KV en pages de taille fixe, à la manière de la mémoire virtuelle d’un système d’exploitation
  • Il alloue les blocs physiques selon les besoins et les relie via une table des pages, ce qui évite d’avoir besoin d’un espace contigu
  • Les pages des séquences terminées sont libérées immédiatement
  • Les séquences de plusieurs utilisateurs peuvent partager un même GPU de façon sûre et efficace
  • Ce mode de gestion mémoire explique l’amélioration de débit de 2 à 4 fois de vLLM

• Mise en cache des prompts et des préfixes

  • Les requêtes qui répètent le même prompt système, le même préambule few-shot ou le même préfixe de document peuvent réutiliser le cache KV déjà calculé
  • Anthropic facture les lectures depuis le cache 0,30 dollar par million de tokens, soit 0,1 fois le prix d’une entrée standard, qui est de 3 dollars
  • OpenAI GPT-5.x applique aussi une réduction de 90 % : 0,50 dollar pour les entrées mises en cache, contre 5 dollars pour les entrées standard
  • Pour les longs prompts, la latence baisse aussi d’environ 85 %, et les questions de suivi de l’exemple de RFP n’ont pas besoin de répéter le prefill de 12 022 tokens

• Étape 8 : les trois composants de la mémoire GPU

  • La mémoire du package GPU contient à la fois les poids du modèle fixes, le cache KV qui augmente avec les requêtes simultanées et leur longueur, ainsi que les activations et espaces de travail temporaires
  • Comme l’espace restant après le chargement des poids devient le budget du cache KV, c’est souvent la mémoire, plus que le volume de calcul, qui limite le nombre d’utilisateurs simultanés
  • Un modèle 70B pèse environ 140 Go en FP16, ce qui nécessite deux H100 de 80 Go, mais tombe à environ 70 Go en FP8, laissant même de l’espace pour le cache KV sur un seul GPU
  • La mémoire économisée sur les poids grâce à la quantification se traduit directement par davantage d’utilisateurs simultanés

Étapes 9 à 10 : goulot d’étranglement HBM et optimisation des kernels GPU

• Étape 9 : les goulots d’étranglement différents du prefill et du décodage

  • Le prefill consiste en de grosses multiplications de matrices qui traitent en parallèle les 12 022 tokens d’entrée, saturent les Tensor Cores et sont contraints par le volume de calcul et le délai jusqu’au premier token (TTFT)
  • Le décodage doit lire depuis la HBM l’ensemble des poids du modèle et le cache KV croissant à chaque génération d’un nouveau token
  • Avec une taille de batch de 1, l’intensité arithmétique du décodage est d’environ 1 FLOP par octet, très en dessous de la limite du roofline, autour de 410 à 590 FLOP/byte
  • Les Tensor Cores passent plus de temps à attendre la mémoire qu’à calculer, et la bande passante HBM fixe le plafond de la vitesse de génération et des coûts

• Réduction de la précision

  • Passer de FP16 à FP8 puis FP4 réduit le nombre d’octets de poids à lire pour chaque token, ce qui augmente le débit du décodage centré sur la mémoire
  • NVFP4 de NVIDIA est un format flottant 4 bits destiné aux Tensor Cores de 5e génération de Blackwell
  • Il offre un débit arithmétique environ 2 à 3 fois supérieur à FP8 et une économie de mémoire d’environ 1,8 fois
  • Il maintient l’écart avec la précision de référence à environ 1 % ou moins
  • Il contribue à accélérer l’inférence de bout en bout jusqu’à 5 fois par rapport à Hopper

• Étape 10 : kernels CUDA et fusion

  • Les opérations mathématiques du GPU sont exécutées sous forme de kernels, de petits programmes lancés sur des milliers de cœurs
  • Exécuter les opérations du Transformer sous la forme de centaines de kernels séparés oblige chaque kernel à lire les données depuis la HBM puis à réécrire les résultats, ce qui pèse lourdement sur les tâches limitées par la bande passante
  • La fusion de kernels combine plusieurs opérations en une seule, garde les données intermédiaires dans la SRAM on-chip et réduit les accès à la HBM
  • FlashAttention utilise une attention par tuiles et un softmax en ligne pour ramener les lectures/écritures HBM liées à la longueur de séquence d’une échelle quadratique à une échelle linéaire, avec une accélération de 2 à 4 fois
  • FlashAttention-3 exploite les moteurs asynchrones de Hopper et FP8 pour atteindre 840 TFLOPS sur H100, soit environ 85 % des performances maximales

• Décodage spéculatif

  • Comme le décodage lit tous les poids même pour générer un seul token, le coût supplémentaire lié à la vérification parallèle de plusieurs tokens candidats est relativement faible
  • Un petit modèle brouillon propose les K prochains tokens, puis le grand modèle cible les vérifie en une seule exécution parallèle et adopte le plus long préfixe correct
  • La sortie est mathématiquement identique au décodage classique, tout en étant 2 à 4 fois plus rapide
  • Des méthodes comme EAGLE-3 acceptent plus de 75 % des tokens brouillons

Étapes 11 à 14 : le réseau entré à l’intérieur du modèle

• Étape 11 : réseau d’interconnexion NVLink à grande échelle

  • Les modèles à milliers de milliards de paramètres et les modèles MoE qui ne tiennent pas sur un seul GPU sont répartis sur plusieurs GPU, si bien que des communications inter-GPU ont lieu à chaque couche et pour chaque token
  • Le réseau n’est pas un auxiliaire situé en dehors de la boucle de décodage : il fonctionne à l’intérieur de la boucle de décodage
  • NVLink 5 fournit 1,8 To/s par GPU, soit environ 14 fois un lien PCIe Gen5
  • GB200 NVL72 relie 72 GPU Blackwell et 36 CPU Grace dans un même domaine NVLink
  • La bande passante totale est de 130 To/s et la mémoire unifiée de 13,4 To
  • La consommation est d’environ 120 kW, avec un débit d’inférence jusqu’à 30 fois supérieur à celui d’un cluster H100 sur des modèles à milliers de milliards de paramètres

• Le volume de communications créé par la parallélisation

  • Le parallélisme de tenseurs répartit les multiplications de matrices de chaque couche sur plusieurs GPU, puis doit fusionner plusieurs fois les résultats partiels par all-reduce pour chaque token
  • Dans les MoE, les tokens sont envoyés vers des experts répartis sur plusieurs GPU, si bien que les communications all-to-all deviennent souvent le principal goulot d’étranglement
  • L’environnement d’exploitation de DeepSeek utilise 8 NIC à 400 Gbit/s par nœud et réduit les arrêts GPU avec DeepEP, qui superpose les communications entre experts et le calcul

• Étape 12 : commutateurs et contrôle de congestion

  • NVSwitch, dans le domaine de scale-up, fournit 144 ports NVLink et une commutation non bloquante à 14,4 To/s, permettant à 72 GPU de communiquer simultanément à pleine vitesse
  • Les réseaux scale-out au-delà du rack utilisent des commutateurs comme NVIDIA Quantum-X800 InfiniBand, Spectrum-X800 Ethernet ou Broadcom Tomahawk 6 à 102,4 Tbit/s
  • Les réseaux IA réduisent le nombre de sauts pour les communications collectives grâce à une topologie optimisée par rails, qui relie les GPU de même numéro au même commutateur de rail
  • Les opérations dans le fabric, comme SHARP, effectuent la réduction directement dans le commutateur
  • Lorsque des milliers de GPU terminent une étape en même temps, un incast synchronisé se produit ; la congestion d’un seul lien pouvant bloquer toute la communication collective, le routage adaptatif est indispensable

• Étape 13 : NIC et DPU

  • Les paquets qui circulent entre les racks passent par une SmartNIC ou un DPU comme NVIDIA BlueField
  • RoCE ou les verbs InfiniBand permettent à un GPU distant de lire directement la mémoire d’un autre GPU sans passer par le CPU
  • Le débit des liens est aujourd’hui de 400 Gbit/s, et 800 Gbit/s est en cours de standardisation
  • Le DPU prend en charge le contrôle de congestion, le chiffrement, la virtualisation du stockage et l’isolation multi-tenant à la place du CPU hôte
  • Dans les clusters optimisés par rails, chaque GPU peut disposer de son propre NIC ; DeepSeek associe 8 GPU à 8 NIC à 400 Gbit/s

• Étape 14 : Ethernet et composants optiques

  • InfiniBand, avec une latence d’environ 1 à 2 µs et un fabric sans perte, était le choix traditionnel pour les clusters IA, tandis que RoCEv2 Ethernet, à environ 5 à 10 µs, était considéré comme une solution de second rang
  • L’Ultra Ethernet Consortium a annoncé en juin 2025 UEC 1.0, qui reconstruit la pile Ethernet pour l’IA
  • Dell’Oro prévoit qu’Ethernet dépassera InfiniBand dans les réseaux back-end IA d’ici 2027
  • L’inférence étant sensible aux coûts et proche des environnements multi-tenant et d’entreprise, la structure de coûts d’Ethernet et son écosystème ouvert deviennent importants

• Coût et consommation des composants optiques

  • Les transceivers optiques représentent environ 60 % du coût du réseau et environ 45 % de sa consommation électrique
  • Le réseau représentant environ 15 à 18 % du coût total d’un cluster, les seuls composants optiques pèsent environ 10 % du coût total
  • Les modules 800G enfichables d’un commutateur consomment au total plus de 500 W, ce qui peut dépasser la consommation de l’ASIC de commutation
  • Le marché des transceivers optiques pour l’IA devrait progresser de 57 %, passant d’environ 16,5 milliards de dollars en 2025 à environ 26 milliards de dollars en 2026
  • La co-packaged optics (CPO) déplace les composants optiques dans le package du commutateur, réduisant la consommation d’un lien 1,6T d’environ 30 W à 9 W
  • NVIDIA annonce, pour ses commutateurs photoniques prévus au second semestre 2026, une efficacité énergétique multipliée par 5 et une résilience multipliée par 10
  • Pour les modèles plus grands qu’un seul GPU, il faut gérer un écart de bande passante d’environ 20 à 40 fois entre le scale-up NVLink et le scale-out Ethernet

Étape 15 : streaming de la réponse et facturation

• Une fois le dernier token généré, la détokenisation reconvertit les identifiants entiers en texte
• La réponse remonte par le NIC, les commutateurs, le répartiteur de charge et la passerelle, et est généralement diffusée token par token via Server-Sent Events (SSE)
• L’utilisateur peut commencer à lire environ 0,3 seconde avant que la réponse complète soit terminée, si bien que le TTFT influence fortement la vitesse perçue
• Enfin, les tokens d’entrée ordinaires ou mis en cache, ainsi que les tokens de sortie plus coûteux, sont calculés selon le niveau défini à l’étape d’authentification, ce qui clôt la facturation

Le serving désagrégé comme système d’exploitation de l’inférence

• Batching, pagination du KV, séparation du prefill et du décodage, choix du matériel et communications collectives relèvent tous du même problème : planifier des tâches hétérogènes dans les couches mémoire et réseau afin d’augmenter le taux d’utilisation d’un silicium coûteux
• En 2026, le serving désagrégé (disaggregated serving) sépare le prefill, centré sur le calcul, et le décodage, centré sur la bande passante, en pools de GPU distincts
• Chaque pool est mis à l’échelle et ajusté indépendamment, tandis que le cache KV est streamé entre les deux pools
• NVIDIA Dynamo, vLLM, SGLang, llm-d et Mooncake adoptent cette architecture

Pourquoi les entreprises de compilateurs sont devenues des clouds d’inférence

• Les entreprises de compilateurs, de kernels et d’auto-tuning, au lieu de concéder leur technologie sous licence, l’exécutent sur leur propre infrastructure et vendent des tokens, transformant leur écart d’efficacité en marge brute
• Une amélioration de 2× sur les kernels, le batching, la quantification ou le décodage spéculatif double également le nombre de tokens vendables par GPU
• Les auto-tuners qui choisissent le kernel le moins coûteux pour chaque combinaison de modèle, de forme d’entrée et de puce génèrent directement des revenus sur de grands parcs de GPU
• Le chiffre d’affaires annualisé de Baseten est passé d’environ 200 millions de dollars en décembre 2025 à environ 600 millions de dollars en mars 2026, soit une croissance d’environ 1 900 % sur un an
  • L’entreprise a levé 1,5 milliard de dollars pour une valorisation de 11 à 13 milliards de dollars
  • Sa valorisation était de 5 milliards de dollars cinq mois plus tôt
• Le rachat de Modular par Qualcomm pour environ 3,9 milliards de dollars illustre la volonté d’un fabricant de puces de répondre à NVIDIA avec un compilateur indépendant du matériel

Critères de choix d’un fournisseur d’inférence

• Latence, coût, fiabilité

  • La latence doit être évaluée en distinguant le TTFT, qui détermine le début de la réponse, et la latence inter-tokens, qui détermine la vitesse d’achèvement de la réponse
  • Plus que la médiane, la latence de queue p99 est importante, car elle reflète les pauses réellement vécues par les utilisateurs
  • L’inférence GPU classique prend environ 400 à 600 ms pour le premier token
  • Groq et Cerebras annoncent, sur des modèles de la classe Llama-70B, un TTFT inférieur à 100 à 150 ms et une vitesse de sortie de plus de 1 600 à 2 100 tokens par seconde, soit environ 4 à 6 fois les piles GPU classiques
  • Le coût doit être calculé non pas à partir d’un prix unitaire publié, mais comme un coût mixte tenant compte du ratio entrée/sortie, du taux de succès du cache et de la possibilité de traitement par lots
  • La sortie coûte environ 4 à 5 fois plus cher que l’entrée et représente généralement l’essentiel du coût total
  • Le caching des prompts réduit le coût d’entrée de 50 à 90 %, et les tarifs de traitement par lots le réduisent souvent d’environ 50 %
  • À la mi-2026, les prix varient d’environ 0,04 à 0,20 dollar par million de tokens pour des endpoints de modèles ouverts optimisés pour le coût, comme DeepInfra ou Groq, jusqu’à plusieurs dollars pour les modèles frontier, soit des écarts de plusieurs ordres de grandeur
  • L’exemple de tarification de Groq est de 0,15 dollar en entrée et 0,60 dollar en sortie
  • La fiabilité doit être mesurée au-delà d’un simple SLA de disponibilité, jusqu’à la disponibilité fonctionnelle
  • Azure OpenAI fournit un SLA de 99,9 % pour la génération de tokens
  • Les entreprises exigent aussi des SLA de latence, par exemple un TTFT inférieur à 200 ms pour 99,99 % des appels
  • Une envolée du taux de refus, un changement automatique de version de modèle qui dégrade les résultats d’évaluation, ou des limites de quota sous charge peuvent casser un produit tout en respectant la disponibilité officielle
  • Il faut figer la version du modèle, négocier la capacité et surveiller directement la disponibilité fonctionnelle

• Sept critères qui déterminent l’aptitude à la production

  • Débit et limites de requêtes : les plafonds de tokens par minute et la marge de traitement instantanée limitent les tâches parallèles des agents et l’échelle de montée en charge
  • Sécurité et conformité : SOC 2 Type II, HIPAA, ISO 27001 et RGPD sont des prérequis pour les secteurs réglementés, difficiles à ajouter après coup
  • Localité des données et déploiement privé : les garanties de non-conservation, le VPC/BYOC et la prise en charge on-premise déterminent l’approbation des achats en entreprise
  • Déterminisme et contrôle des versions : les seeds fixes et les checkpoints verrouillés empêchent la dérive des résultats d’évaluation due aux changements automatiques
  • Étendue et fraîcheur des modèles : la diversité des modèles, la prise en charge dès le jour de sortie des nouveaux poids ouverts, ainsi que l’hébergement de fine-tuning et de LoRA déterminent la vitesse d’adoption des modèles récents
  • Flexibilité de déploiement : les options serverless, infrastructure dédiée et auto-hébergement définissent l’équilibre entre coût et niveau de contrôle
  • Portabilité : une API compatible OpenAI et un routage multi-fournisseurs propre offrent des moyens de réagir aux pannes, aux changements de prix et aux changements de modèles

Les goulets d’étranglement physiques où la valeur s’accumule

• La bande passante HBM fixe le plafond du décodage, les domaines d’extension à l’échelle NVLink sont propriétaires, et les composants optiques ainsi que l’énergie deviennent des intrants rares
• Sur 725 milliards de dollars de dépenses d’investissement, plus de 60 % vont à l’énergie et aux bâtiments ; l’indicateur final de long terme est donc le nombre de tokens par watt
• Le marché des réseaux se divise en deux directions
  • Les interconnexions de scale-up restent un domaine fermé et défendable
  • Les réseaux de scale-out hors rack s’ouvrent et se banalisent autour d’Ethernet et de l’UEC
  • Les domaines de différenciation sont les domaines NVLink, l’optique/CPO et la propriété intellectuelle de contrôle de congestion, plutôt que la commutation générique
• Les marges des logiciels d’inférence sont déterminées par le produit des écarts d’efficacité, du taux d’utilisation et de l’échelle opérationnelle ; seules les entreprises qui transforment la performance en pouvoir de distribution et en coûts de changement peuvent rester défendables malgré la baisse des prix
• Pour les activités qui ne présentent que la vitesse brute comme avantage concurrentiel, la couche compilateur et les outils gratuits de NVIDIA peuvent banaliser le même niveau de performance
• L’expansion de l’économie des tokens ne garantit pas automatiquement des marges élevées ; ce sont les goulets d’étranglement liés à la mémoire, aux interconnexions, à l’optique et à l’énergie, ainsi que les plateformes qui transforment l’efficacité en verrouillage client, qui font la différence