L’IA à poids ouverts vit son moment Kubernetes

 (tobi.knaup.me)
1 points par GN⁺ 2 시간 전 | 1 commentaires | Partager sur WhatsApp
  • Les modèles à poids ouverts, suffisamment performants et portables, peuvent devenir une base que développeurs, clouds et entreprises font évoluer ensemble, créant un écosystème d’innovation difficile à suivre pour un fournisseur unique
  • Comme Kubernetes a attiré les outils de réseau, de stockage et d’observabilité autour d’une interface commune, une stack de production se développe aussi dans l’IA, du serving de modèles au fine-tuning, en passant par les runtimes d’agents et l’évaluation
  • Les modèles publics de Hugging Face dépassent les 2 millions ; GLM-5.2 a obtenu 62,1 % dans sa propre évaluation SWE-bench Pro, devant les 58,6 % de GPT-5.5, tandis que Kimi K3 a aussi obtenu, dans une évaluation indépendante, un score comparable à Opus 4.8 et GPT-5.5
  • Interdire largement les modèles à poids ouverts chinois exclurait surtout les chercheurs et entreprises américains de l’écosystème, alors que le développement mondial continuerait, et l’innovation pourrait s’accumuler autour des modèles chinois, qui ont représenté 41 % des téléchargements sur Hugging Face l’an dernier
  • Plutôt que d’interdire, les États-Unis devraient rivaliser en publiant des modèles de pointe exploitables commercialement, via des achats publics privilégiant la portabilité et l’interopérabilité, en construisant toute la couche d’outils et d’exploitation, et grâce à des tests de sûreté et des standards indépendants

La puissance des plateformes ouvertes montrée par Kubernetes

  • Mesosphere développait des logiciels cloud native open source basés sur Apache Mesos, puis a construit DC/OS autour de celui-ci et l’a commercialisé sous forme de distribution d’entreprise incluant support et fonctionnalités propriétaires
  • Par la suite, Kubernetes, projet open source plus récent et plus complet, a rassemblé la communauté cloud native et ébranlé Mesosphere
    • Des ingénieurs de rang mondial en systèmes distribués et infrastructure ont misé leur carrière sur Kubernetes, et une partie des membres fidèles de la communauté Mesosphere a aussi migré
    • Lorsque le centre de l’innovation s’est déplacé vers Kubernetes, les composants manquants — réseau, stockage, observabilité, outils de déploiement, moteurs de politiques, etc. — ont été développés rapidement
  • Avec la participation de nombreuses startups et de fournisseurs établis, presque tous les composants nécessaires pour exploiter Kubernetes en production ont été proposés en open source
    • Les fournisseurs cloud ainsi que Mesosphere/D2iQ, Rancher, Red Hat et Nutanix ont bâti leurs activités autour de l’intégration, des fonctionnalités d’entreprise, du support et de l’exploitation
  • Le succès de Kubernetes ne tient pas simplement à l’ouverture d’un dépôt
    • Il s’est imposé comme une base neutre que les ingénieurs, les fournisseurs cloud et les éditeurs d’entreprise pouvaient étendre selon les besoins des clients
    • Les interfaces communes et une gouvernance neutre vis-à-vis des fournisseurs ont donné aux participants la confiance nécessaire pour construire des produits sur le long terme
  • Lorsqu’une plateforme ouverte et personnalisable devient le centre d’une industrie, il devient difficile pour un fournisseur unique de suivre la vitesse d’innovation cumulée de tout l’écosystème

Différence entre poids ouverts et IA open source

  • La plupart des modèles souvent qualifiés d’open source sont, plus précisément, des modèles à poids ouverts
  • Même sans être entièrement open source, un écosystème peut se former autour d’artefacts que les utilisateurs peuvent exécuter et modifier
  • Il existe aussi des différences importantes entre les structures de Kubernetes et de l’IA
    • Les contributeurs de Kubernetes pouvaient examiner et modifier le code source réel, puis intégrer leurs améliorations au projet upstream partagé
    • Les résultats de fine-tuning de modèles ne sont généralement pas partagés de la même manière
    • Même lorsqu’il est possible de télécharger les poids de modèles de pointe, leur exécution peut nécessiter du matériel coûteux
    • L’IA ne dispose pas d’organisation comparable à la CNCF offrant une gouvernance neutre et des interfaces communes
  • Le point commun entre les deux écosystèmes est qu’une base suffisamment performante et portable attire une innovation complémentaire qui dépasse ce que son créateur initial pourrait produire seul

Du self-hosting aux plateformes de modèles

  • La première raison d’adopter des modèles à poids ouverts était le self-hosting
    • Les entreprises voulaient exécuter des modèles dans leur propre cloud ou datacenter tout en gardant le contrôle direct de leurs données
    • À mesure que l’usage et les coûts d’inférence augmentaient, la volonté de contrôler directement les coûts s’est elle aussi renforcée
  • Cette demande a permis l’émergence de stacks de serving de modèles open source comme vLLM, SGLang, llama.cpp, Ollama et MLX
  • Les poids ouverts vont au-delà du self-hosting en permettant aux développeurs de modifier puis de redéployer le modèle lui-même
  • Hugging Face recense plus de 2 millions de modèles publics
  • Autour de familles de modèles populaires comme Qwen et Gemma, une grande variété d’artefacts dérivés est produite
    • Des poids quantifiés et convertis pour différentes architectures de puces et différentes tailles
    • Des modèles fine-tunés et des adaptateurs LoRA pour le code, la médecine, le droit, les mathématiques et les workflows d’agents
    • Des fusions de modèles combinant différents résultats de fine-tuning
    • Des variantes de modèles adaptées à divers runtimes comme TensorRT-LLM, vLLM ou MLX

La pointe et l’écart de performance qui se réduit

  • Par le passé, les performances de base des modèles ouverts étaient insuffisantes pour les tâches de code et d’agents les plus difficiles, ce qui permettait facilement de les exclure de la compétition de pointe, mais cet écart se réduit rapidement
  • Z.ai a lancé GLM-5.2, qui fournit des poids publics sous licence MIT
    • Dans sa propre évaluation, son score SWE-bench Pro est de 62,1 %, supérieur aux 58,6 % de GPT-5.5
    • Les résultats peuvent toutefois varier selon le benchmark et le harnais d’agents
  • Moonshot affirme que Kimi K3 se rapproche des modèles fermés de pointe pour les longues tâches de programmation et a promis de publier les poids le 27 juillet
  • Lorsque les performances des modèles de base deviennent suffisantes, les runtimes d’agents, les harnais de programmation, les sandboxes, l’évaluation, l’observabilité et les projets de fine-tuning spécialisés peuvent croître en cascade
  • Ces composants forment une stack ouverte prête pour la production, ajustable à la charge de travail, au matériel et à la structure de coûts des équipes
    • Il s’agit d’une architecture où des modèles à poids ouverts s’exécutent au-dessus de logiciels open source
    • Elle ne garantit pas de battre tous les modèles fermés sur tous les benchmarks
  • L’IA de pointe est une compétition de talents, et un écosystème ouvert donne aux talents du monde entier une raison de développer sur la même base

L’impact d’une interdiction des modèles chinois sur les États-Unis

  • Après l’apparition de modèles chinois puissants, dont Kimi K3, l’administration Trump envisagerait des restrictions sur les modèles chinois à poids ouverts
    • La forme que pourrait prendre une interdiction potentielle reste encore floue
  • Interdire largement l’usage des modèles chinois à poids ouverts pourrait isoler les chercheurs et entreprises américains de l’écosystème où se rassemblent les chercheurs et ingénieurs IA du monde entier
    • De nombreux chercheurs chinois participent aussi à cet écosystème
    • Le développement mondial continuerait, mais seuls les développeurs américains n’y auraient plus accès
  • Le même mouvement est déjà visible autour de Qwen
    • Selon Hugging Face, les modèles chinois ont représenté 41 % de l’ensemble des téléchargements de modèles sur l’année écoulée
  • Si les meilleurs modèles de base à poids ouverts continuent de venir de Chine, des outils et de l’innovation peuvent s’accumuler autour d’eux, comme à l’époque de Kubernetes

Quatre façons pour les États-Unis de rivaliser

  • Publier des modèles américains de pointe

    • Les laboratoires américains doivent publier des modèles à poids ouverts de pointe sous des licences permettant aux startups de construire de vrais produits
    • Des progrès existent déjà
    • NVIDIA Nemotron peut être utilisé commercialement sous la licence permissive de NVIDIA
    • Inkling de Thinking Machines, gpt-oss d’OpenAI et Gemma 4 de Google sont publiés sous Apache 2.0
    • Cependant, les modèles les plus puissants de la plupart des laboratoires américains de pointe, y compris les meilleurs modèles d’OpenAI et de Google, restent fermés

  • Créer un marché ouvert par les achats publics

    • Les achats publics doivent créer une demande pour des systèmes dotés de portabilité et d’interopérabilité, plutôt que pour des systèmes dépendant durablement d’un seul fournisseur d’API
    • Le département américain de la Défense utilise déjà une approche similaire
    • Platform One fournit des outils open source et des produits d’entreprise pouvant servir de base à plusieurs programmes militaires
    • Le même mode d’achat pourrait accélérer l’innovation autour des modèles à poids ouverts

  • Construire toute la stack au-delà des modèles

    • Les entreprises américaines doivent aussi construire les autres couches qui entourent les modèles
    • Les startups peuvent personnaliser, étendre et intégrer les modèles dans leurs produits
    • Le serving, les outils, le support et les couches d’exploitation sont aussi des opportunités commerciales
    • Les grands fabricants américains de semi-conducteurs peuvent continuer à améliorer le matériel, tandis que les hyperscalers et néoclouds peuvent servir les modèles et l’écosystème

  • Introduire des tests et des standards plutôt qu’interdire

    • La sûreté est l’argument le plus solide en faveur des restrictions, mais une interdiction générale est trop large et sacrifierait aussi l’accès à tout l’écosystème
    • Une meilleure réponse consiste à établir des tests et des standards indépendants pour les modèles de pointe
    • Les tests de conformité Kubernetes vérifient la compatibilité, et non la sûreté, ils ne constituent donc pas un équivalent exact pour l’IA
    • Des critères indépendants et un modèle de gouvernance peuvent néanmoins servir de référence
    • Demis Hassabis a proposé un organisme de standards indépendant piloté par les États-Unis de ce type

Stratégie de compétition dans un écosystème IA ouvert

  • Les États-Unis devraient, plutôt que dresser des barrières autour de leurs développeurs, exécuter directement les modèles chinois, en analyser l’intérieur, les benchmarker et les améliorer
  • En parallèle, ils doivent construire de meilleures alternatives américaines afin de faire de la stack IA américaine l’option la plus facile à adopter au monde
  • Pendant des décennies, les États-Unis ont attiré les meilleurs talents technologiques du monde et leur ont offert un espace pour développer
  • Si les États-Unis transforment cet avantage compétitif en écosystème fermé pendant que d’autres pays adoptent des stacks plus ouvertes comme standard, ils renonceront eux-mêmes à leur statut de leader de l’IA

À lire aussi

1 commentaires

 
GN⁺ 2 시간 전
Avis de Hacker News

  • Interdire les modèles chinois semble techniquement impossible. Les poids ne sont que des nombres : on ne peut pas distinguer ceux qui viennent des États-Unis de ceux qui viennent de Chine, et une interdiction fondée sur l’origine serait facile à contourner.
    Au final, il faudrait réglementer tous les modèles à poids ouverts ; Axios a d’ailleurs rapporté que de grands labos d’IA ou des personnes liées au secteur avaient proposé à l’administration, tous les 3 à 5 mois, d’interdire les modèles open source.
    On pourrait imposer un système de licences proche des DRM pour que seuls des modèles américains certifiés puissent être exécutés sur ses propres serveurs, mais cela donnerait un monopole aux grands labos et empêcherait aussi la distribution de modèles dérivés. Ce serait difficile à faire appliquer à l’étranger, et seuls les Américains risqueraient donc d’être réellement restreints.

    • Une interdiction des modèles open source entrerait rapidement en conflit avec le premier amendement, comme cela a été le cas pour les logiciels. Le drapeau DeCSS moderne pourrait prendre la forme d’un texte disant : « je pense que de bons poids sont {...weights go here...} ».
      En revanche, il serait possible d’interdire de payer des frais d’inférence ou de services d’IA à des entreprises chinoises, ou à des opérateurs détenus par des entreprises chinoises.
    • Si le gouvernement américain place des entreprises chinoises publiant des modèles ouverts sur l’Entity List, toute entreprise traitant avec les États-Unis ne pourra plus faire affaire avec elles. Même s’il est difficile d’identifier parfaitement l’origine d’un modèle, les sanctions sont lourdes ; les entreprises américaines éviteront donc probablement non seulement de proposer ou d’utiliser des modèles clairement chinois, mais aussi de tenter de contourner l’interdiction.
    • Il suffirait qu’une agence gouvernementale établisse une liste de modèles sur Hugging Face et interdise d’en fournir l’accès. Même sans formulation juridique effrayante, une simple liste d’interdiction suffirait pour que les entreprises américaines et les hébergeurs n’exécutent pas ces modèles sur leurs serveurs.
    • On peut imposer la conformité aux entreprises américaines et les obliger à retirer les modèles de Hugging Face, mais si des services de remplacement apparaissent à l’étranger, tout le monde migrera vers eux. Au final, ce serait un résultat défavorable aux États-Unis.
    • Les modèles étant aussi des logiciels, on peut en interdire l’usage dans les environnements à forte assurance nécessitant une certification FedRAMP. Mais les États-Unis n’ont pas de Great Firewall, donc empêcher leur importation via Internet est impossible.

  • L’un des aspects les plus étranges du secteur de l’IA est la tarification au token. On ne sait pas vraiment pourquoi GPT-4 était très cher début 2023, puis pourquoi, six mois plus tard, 20 dollars permettaient d’utiliser un volume d’inférence important ; les prix des différents labos et fournisseurs ont monté et baissé pendant des années sans justification claire.
    Les modèles à poids ouverts fournissent au moins un prix plancher pour les coûts d’inférence, ce qui rationalise les tarifs et les rend plus prévisibles. Même si Kimi K3 sort, on peut continuer à utiliser K2 si on le souhaite ; la pression concurrentielle et la continuité des modèles ouverts sont donc utiles aux utilisateurs.

    • Les prix sont fixés au niveau que le marché peut supporter, selon les ressources de calcul disponibles et l’environnement concurrentiel, et il faut tester plusieurs niveaux de prix pour le découvrir. Les fournisseurs expérimentent différents forfaits et remises pendant que la demande fluctue elle aussi.
      Cela peut sembler chaotique si l’on est habitué à des marchés matures et stables, mais la volatilité des prix dans un marché naissant est un phénomène courant.
    • Comme l’a montré la forte réaction à l’abandon de GPT-4o après la sortie de GPT-5, chaque modèle a ses caractéristiques propres, et dans certains usages un ancien modèle peut être meilleur que le plus récent. La capacité à continuer d’exécuter d’anciens modèles est particulièrement importante, car les labos ne semblent pas disposés à proposer des versions LTS.
    • L’impact de FlashAttention a été très important.
    • Comme les médicaments de marque sont chers et les génériques bon marché, il peut s’agir d’un gonflement artificiel des prix pour récupérer les coûts de R&D.
    • Je me demande si le prix de GPT-4 lui-même a réellement baissé. Les anciennes versions de l’API restent très chères ; ce sont plutôt de nouveaux modèles comme Turbo qui ont fait baisser les prix.
      Même s’ils contiennent tous gpt-4 dans leur nom, cela ne signifie pas que le modèle interne soit le même ; il a pu être largement modifié pour réduire les coûts de service.

  • Pour atteindre une position comparable à celle de Kubernetes, il faudrait que plusieurs entreprises développent ensemble des modèles d’IA dont les données d’entraînement sont publiques. Comme des entreprises contribuent collectivement à Linux, il pourrait être logique pour l’IA d’utiliser des modèles ouverts et de contribuer aux fonctionnalités nécessaires, car ces modèles sont utiles aux activités des entreprises mais trop coûteux à développer seules.

  • OpenAI a aussi publié deux modèles open source de bon niveau pour l’époque. Le modèle 20B est excellent à la maison pour relire du texte ou rédiger des premières versions de scripts Bash, mais le 120B est difficile à faire tourner sur du matériel grand public à une vitesse réaliste en tokens par seconde.
    Cela dit, ce serait bien qu’OpenAI mette ces modèles à jour plus souvent.

    • gpt-oss-120b tourne à plus de 30 tokens par seconde sur Strix Halo, et à plus de 75 tokens par seconde sur un MacBook Pro M5 Max avec 128 Go de mémoire.
      Son successeur spirituel semble être la famille Nemotron 3, mais elle aussi date un peu : https://research.nvidia.com/labs/nemotron/Nemotron-3/
      Il y a aussi Gemma 4, plus récent : https://huggingface.co/collections/google/gemma-4
      Ou bien on peut choisir Qwen3.6 : https://huggingface.co/collections/Qwen/qwen36
    • Deux ans et demi après la sortie de GPT-3, Sam Altman a écrit dans un e-mail au conseil d’administration que créer un modèle de niveau GPT-3 exécutable localement pourrait dissuader d’autres acteurs de publier des modèles comparables et rendre plus difficile le financement de nouvelles entreprises.
      La Chine publie des modèles ouverts pour élever son niveau technologique, tandis qu’OpenAI et Sam les publient avec pour objectif de freiner les concurrents : c’est la différence.
    • Les modèles d’OpenAI sont corrects, mais à leur sortie ils n’étaient pas plus compétitifs que des alternatives comme Qwen3 Coder A3B. Pour une startup, il y a de bonnes raisons de choisir Qwen3, qui a proposé plusieurs mises à jour à poids ouverts, plutôt que le premier modèle d’OpenAI resté longtemps sans successeur.
      Pour les startups qui veulent des modèles de pointe issus de labos américains, le rythme de sortie actuel n’est pas soutenable. Si les États-Unis ne veulent pas abandonner complètement ce marché, OpenAI et les autres doivent accélérer rapidement.

  • Tant que la Chine n’aura pas augmenté sa production de matériel, l’exécution en propre ne sera pas économique, mais il est positif que les modèles ouverts mettent la pression sur les labos. À terme, lorsque les téléphones pourront exécuter des modèles suffisants pour la plupart des tâches, Apple gagnera probablement

    • Le Model-on-Chip arrive. Les GPU sont des unités de calcul généralistes, ce qui crée un gros goulot d’étranglement pour l’inférence de modèles, mais un modèle gravé dans la puce offre des gains de performance énormes, même s’il ne peut pas être beaucoup mis à jour
      Il n’a même pas besoin des procédés de fabrication de semi-conducteurs les plus avancés, ce qui peut réduire fortement les coûts
    • Si cela arrive, ce sera pratiquement la fin pour les hyperscalers et Oracle, donc j’attends ce jour avec impatience
    • Aux prix d’avant la bulle, un Strix Halo 128 Go coûtait 1 400 dollars pour environ 200 W, et quatre machines ensemble peuvent faire tourner un modèle de pointe à 1 000 milliards de paramètres : https://www.amd.com/en/developer/resources/technical-article...
      En comptant l’équivalent de sept mois d’abonnement Claude Code par nœud, l’investissement est amorti en 28 mois ; avec un amortissement sur cinq ans, on peut presque avoir deux clusters au seuil de rentabilité et traiter deux flux de requêtes simultanés
      Le matériel de prochaine génération a déjà été annoncé et devrait sortir dans environ deux cycles de loi de Moore ; son prix stabilisé sera probablement inférieur ou égal à 1 400 dollars en valeur 2024, tout en étant plus rapide
      Quand la bulle financière éclatera et que les achats de matériel datacenter par les labos s’arrêteront, l’inférence locale deviendra moins chère que les abonnements et très pratique. Je me demande alors si UNIX Surplus vendra des serveurs d’inférence à prix cassés comme après l’éclatement de la bulle dot-com, ou si leurs besoins électriques seront trop particuliers pour un usage domestique
    • Pour les tâches hors codage, faire tourner des modèles quantifiés pendant la nuit suffit à répondre à la plupart des besoins
    • Je fais tourner des modèles sur le desktop à la maison et je les utilise via une app mobile ; selon le modèle et l’usage, j’obtiens 60 à 140 tokens par seconde. C’est assez rapide même pour maintenir une conversation vocale

  • Il y a de la valeur dans l’idée que les administrations créent de la demande en achetant des systèmes portables et interopérables, plutôt que de s’enfermer définitivement chez un fournisseur d’API donné. Cela pourrait être mis en œuvre non seulement par le gouvernement fédéral, mais aussi par des États comme la Californie, le Colorado, l’Illinois ou New York

  • Je suis curieux de voir des configurations réelles pour faire du codage agentique avec des modèles à poids ouverts. Quels outils d’exécution et quels modèles sont utilisés, combien cela coûte par mois, et comment cela se compare-t-il à des forfaits subventionnés comme Claude Code et Pro ?
    Je veux vérifier si l’idée selon laquelle les modèles ouverts sont bon marché et efficaces tient aussi dans la pratique

    • Avant, j’utilisais des outils d’exécution personnalisés, mais les outils se sont améliorés et j’ai beaucoup simplifié ma configuration. Les modèles de base échouent eux aussi sur les parties difficiles du code, donc je ne les utilise que quand l’occasion s’y prête
      J’utilise trois modèles locaux dans Zed : Qwen 3.6 27B en contexte 128K sur llama.cpp avec une RTX 3090, à environ 50 tokens/s ; Qwen 3.6 35B-A3B en plein contexte sur llama.cpp avec une Titan V et deux GTX 1080 Ti, à environ 30 tokens/s ; et GPT-OSS 120B, qui tourne lentement sur CPU
      J’utilise les agents parallèles de Zed pour basculer entre les tâches, et quand un modèle se bloque, je l’arrête et je corrige le code. Avec cette méthode, je reste concentré, je produis du code maintenable et j’atteins environ 80 % de l’objectif
      J’ai 30 ans d’expérience et je tiens absolument à comprendre le fonctionnement du code ; j’obtiens donc la plupart des gains à court terme sans dépendre d’un tiers pour faire avancer le code. Avec deux GTX 5060 Ti 16 Go, des cartes largement disponibles, Qwen 3.6 35B-A3B devrait pouvoir atteindre environ 100 tokens/s
      Les modèles cloud récents sont excellents pour le codage général grâce notamment aux tokens de brouillon, mais leurs performances baissent sur les tâches propres à un domaine. Comme la taille du modèle de brouillon ne représente que 10 à 20 % de celle du modèle de base et que même les meilleurs GPU Blackwell plafonnent à environ 250 tokens/s, il faut du MoE ou un modèle de brouillon pour faire monter en charge les performances au niveau du modèle de base
      Mais mes usages concernent des problèmes hors distribution (OOD) ou des problèmes peu représentés dans le corpus d’entraînement, et ces optimisations jouent donc contre moi. C’est plutôt une situation où j’ai besoin d’un monospace, pas d’une Lamborghini
    • J’utilise un Ryzen 5950X, 128 Go de mémoire et une RTX 3060 12 Go avec un outil d’exécution maison et qwen 3.6 35B unsloth 4 bit
      En contexte 10K, j’obtiens environ 40 tokens/s en génération et environ 500 tokens/s en préremplissage ; en contexte 100K, environ 25 tokens/s en génération et 400 tokens/s en préremplissage
      Souvent, je commence par faire produire un plan détaillé étape par étape par GPT ou Claude, puis je fais suivre ce plan à Qwen. Je ne suis pas sûr que ce soit économique, mais j’ai déjà le matériel et, grâce aux panneaux solaires sur le toit, l’électricité n’est pas un gros problème
      Le plus gros avantage est que tout se fait entièrement en local, et que je peux être certain que l’outil d’exécution n’envoie rien et ne fait pas de télémétrie
    • J’utilise Kimi K3 avec OpenCode, en paiement à l’usage via API ; en utilisation continue, une ou deux sessions consomment environ 10 millions de tokens par heure et environ 5 dollars
      Je n’ai pas comparé avec les abonnements, car je n’aime pas leurs limites ni leur mode de fonctionnement. C’est nettement plus lent que Fable, Opus ou Gemini, mais beaucoup moins cher que leurs tarifs API
    • J’utilise GLM-5.2 avec le forfait Ollama Cloud à 20 dollars par mois. Avec le même forfait, je récupère plusieurs clés API que j’utilise pour un serveur OpenWebUI, OpenCode et des sessions de développement sur Pi ; en général, même avec 2 à 4 sessions en parallèle, je ne touche pas les limites
      Au travail, on me fournit Claude, et on m’a indiqué que l’utilisation d’Opus coûtait 75 dollars par heure de travail
    • J’ai utilisé GLM 5.2 awq4 dans OpenCode : il était meilleur que Sonnet 4.8, que l’entreprise préfère, et légèrement inférieur à Opus 4.8 ; il suffisait pour la plupart des tâches dont l’équipe de développement avait besoin. Il est moins bon que Sonnet 5, mais on ne tombe pas à court de tokens
      En revanche, il faut quatre H200 pour l’exécuter, et avec cette configuration seuls environ trois utilisateurs peuvent mettre le contexte en cache
      J’attends l’arrivée des machines Blackwell et la publication effective des poids de Kimi 3. Quand les développeurs en arrivent à dépenser une part importante de leur salaire en tokens, il devient au final moins cher d’acheter soi-même des serveurs DGX absurdement coûteux, de les installer en rack et de les exploiter

  • L’interprétation selon laquelle le gouvernement chinois soutiendrait l’entraînement et la publication de modèles de pointe pour exercer une pression concurrentielle ouverte sur OpenAI et Anthropic est difficile à croire. Cela ressemble plutôt à un moyen d’affiner par apprentissage par renforcement des modèles de pointe pour qu’ils se conforment au mode de diffusion de l’information approuvé par le gouvernement chinois
    Si je devais faire confiance à un système opaque qui répond à des questions, je choisirais le modèle d’une entreprise américaine cotée, à but lucratif et soumise à la pression du marché, plutôt qu’un modèle approuvé par le gouvernement chinois et massivement subventionné

    • Cela correspond à la stratégie de la Chine sur d’autres marchés, qui consiste à faire du dumping de produits pour évincer les concurrents. S’ils perdent beaucoup d’argent sur chaque token, un adversaire pourrait aussi augmenter malicieusement la consommation afin de faire grimper leurs coûts
      Le dumping de biens physiques se heurte à une demande finie et à des coûts environnementaux élevés, mais la demande en logiciels est pratiquement illimitée, et les coûts environnementaux rapportés aux coûts de production sont aussi plus faibles, ce qui pourrait permettre de retourner le dumping IA contre son auteur
    • Je me demande quels outils permettraient de contrer le biais soutenu par l’État des modèles chinois. Si les particuliers peuvent facilement corriger ce biais, cela ne semble pas être une stratégie très intelligente

  • On accepte comme une loi naturelle l’hypothèse selon laquelle la Chine continuera à publier les poids de ses modèles de pointe sur Hugging Face. Mais le moment Mythos de la Chine approche dans quelques mois, et plusieurs articles laissent penser que la Chine réagira probablement de manière similaire
    Il est difficile de croire que la Chine mettrait la suite de Mythos sur Hugging Face en permettant à tout le monde d’en retirer les garde-fous. La situation ne s’est déroulée ni comme OpenAI et Anthropic l’avaient prévu, ni comme la Chine l’avait prévu