- Depuis la publication de Kimi K3, les voix qui voient l’IA open source comme une menace dangereuse se sont multipliées, mais les logiciels propriétaires reposent eux aussi sur des bases open source, et les modèles d’IA sont également des produits logiciels
- Les entreprises développent en commun les composants de bas niveau qui ne les différencient pas et se concurrencent sur les produits de plus haut niveau ; les modèles d’IA peuvent donc eux aussi devenir des biens génériques, même si les laboratoires de pointe ont intérêt à ce que cela n’arrive pas
- Comme l’ont montré les cas de PGP et SSL, il est très difficile de freiner les logiciels open source ; même si l’on tente de réguler les modèles chinois, la distillation et le fine-tuning rendent la nationalité floue, ce qui pourrait ne restreindre que les utilisateurs américains
- Nvidia, les startups américaines, les entreprises utilisatrices d’IA, Google et Meta ont tous des raisons commerciales de développer des modèles open source, et les modèles gratuits peuvent devenir une ressource de transition vers l’IA permettant aux États d’absorber de nouvelles technologies et de faire croître leur économie
- Les arguments fondés sur le dumping, la propagande ou les backdoors chinoises négligent la possibilité de copier, modifier et inspecter les logiciels ; l’IA open source est puissante, difficile à contrôler et a de fortes chances de continuer à se diffuser malgré les tentatives de freinage politique
La manière dont l’open source soutient le logiciel commercial
- Dean Ball d’OpenAI estime que si les modèles à poids ouverts dominent, une sorte de « communisme de l’IA » pourrait émerger, où l’IA deviendrait un bien public plutôt qu’un produit de marché
- La logique des laboratoires de pointe est que les modèles open source sont dangereux et que seuls des gatekeepers responsables et des utilisateurs de confiance devraient y avoir accès, mais en réalité l’ensemble du logiciel propriétaire est construit sur de l’open source
- Un produit logiciel est une structure composée de plusieurs programmes empilés en couches
- Pour créer un service comme Uber, il faut de nombreux composants : frameworks de langages de programmation, logiciels d’envoi et de réception du trafic web, outils d’analyse de données, etc.
- La plupart de ces composants de bas niveau ne constituent pas des éléments différenciants pour les entreprises ; il est donc plus rentable commercialement de les développer en commun et de se concurrencer dans les couches supérieures, là où se fait la vraie différenciation
- Les laboratoires de pointe ne souhaitent pas que les modèles d’IA deviennent des composants génériques si courants qu’ils ne nécessitent plus de concurrence, mais rien ne dit encore que cela arrivera réellement
- Ici, modèles open source désigne des modèles à poids ouverts
Pourquoi il est difficile de freiner l’open source
- Les logiciels open source sont extrêmement difficiles à contenir, et les tentatives de restriction peuvent affaiblir les entreprises nationales face à la concurrence internationale
- Lorsque Phil Zimmermann a créé PGP en 1991, le gouvernement américain considérait le chiffrement comme une technologie militaire et a ouvert une enquête pénale contre lui
- Quand Netscape a développé SSL, le gouvernement américain n’a autorisé la diffusion à l’étranger que d’une version affaiblie
- Cette version internationale affaiblie a circulé plus facilement, et de nombreux Américains l’ont également utilisée
- Les contrôles à l’exportation n’ont pas empêché la diffusion du chiffrement et ont au contraire désavantagé les Américains
- Les outils de chiffrement, dont SSL et PGP, ont continué à être utilisés partout dans le monde, et les tribunaux ont jugé que la publication du code source de chiffrement relevait de la liberté d’expression protégée
- Par la suite, le gouvernement américain a assoupli les contrôles à l’exportation sur le chiffrement
Pourquoi il est difficile de ne réguler que les modèles chinois
- Les critères mêmes permettant de déterminer la nationalité d’un modèle sont flous
- On ne sait pas clairement si un modèle distillé à partir d’un modèle américain doit être considéré comme un modèle chinois
- De même, si un Américain fait le fine-tuning d’un modèle chinois, il n’est pas clair de quel pays relève ce modèle
- Au mieux, ce type de régulation peut imposer aux Américains une charge administrative temporaire et un accès limité à l’IA, tout en les désavantageant par rapport aux autres pays
Les incitations à créer de l’IA open source hors de Chine
- L’IA open source n’est pas une technologie que seul le gouvernement chinois aurait intérêt à développer ; divers acteurs commerciaux peuvent y participer pour leurs propres raisons économiques
-
Fabricants de puces
- Jensen Huang, CEO de Nvidia, qualifie ce que produit Nvidia d’« usines à tokens »
- Que les tokens proviennent de modèles de pointe ou de modèles open source bon marché exécutés sur ses puces, Nvidia cherche à générer autant de demande que possible
- L’entreprise a aussi publié sa propre famille de modèles open source Nemotron
- Les capitaux massifs investis dans l’entraînement des modèles de pointe profitent aussi à Nvidia, mais à long terme, l’entreprise gagne même si la demande commerciale en tokens est remplacée par une demande liée à l’open source
-
Startups américaines
- Thinking Machines Lab a publié Inkling, un modèle open source puissant
- Leur pari est que si les modèles deviennent des biens génériques, elles pourront bâtir un avantage concurrentiel défendable avec des services complémentaires ou de personnalisation
-
Entreprises utilisatrices d’IA
- Elles ne sont pas encore très actives dans le développement de l’IA open source, mais elles finiront par vouloir des modèles moins chers pour les tâches peu complexes
- Elles ont aussi besoin d’un contrôle plus fin pour les fonctionnalités destinées aux clients
-
Grandes entreprises technologiques
- Google et Meta ne peuvent qu’observer de près le nouveau produit publicitaire d’OpenAI
- Si l’activité publicitaire des modèles de pointe se développe, elles auront intérêt à faire des modèles open source sans publicité des biens génériques afin de contenir la concurrence publicitaire
Les objectifs flous de la « compétition en IA »
- Les inquiétudes liées aux modèles chinois se concentrent souvent sur l’idée de perdre la course à l’IA, mais on ne sait même pas clairement si l’objectif est de développer le meilleur modèle ou de vendre le plus de tokens
- Contrairement à l’envoi d’une fusée sur la Lune avant les autres, la compétition en IA consiste à répondre à une nouvelle technologie transformatrice ; l’expression est donc presque aussi floue que « compétition pour Internet »
- S’il existe une compétition entre États, l’enjeu central est d’absorber la transition technologique et de faire croître l’économie ; selon ce critère, les modèles d’IA gratuits sont un avantage, pas une menace
L’argument du dumping chinois dans l’IA
- Scott Galloway estime que la Chine a conquis le marché des panneaux solaires, de l’acier, des véhicules électriques et des batteries en alignant la qualité sur les standards occidentaux tout en divisant les prix par trois, et qu’elle pourrait appliquer la même stratégie à une IA gratuite
- Mais, hors puces, l’IA n’est pas un bien physique
- Les panneaux solaires et l’acier nécessitent des chaînes d’approvisionnement physiques dont chaque étape survit difficilement de manière indépendante
- Si un pays ne fabrique pas de panneaux solaires, il lui est aussi difficile de bâtir une activité de wafers de silicium pour le solaire
- Dans le logiciel, même si des modèles open source viennent de Chine, ils n’empêchent pas l’existence d’une activité de fine-tuning aux États-Unis ; ils peuvent même en constituer la base
Biais de propagande et modification des modèles
- Il n’est pas irrationnel de supposer que des modèles chinois puissent intégrer un biais pro-chinois, mais il est difficile d’en faire un motif valable de restriction
- Si le biais politique d’un modèle open source pose problème, des utilisateurs américains peuvent le modifier puis redistribuer une version « américanisée »
- Sur le marché américain, un modèle biaisé de façon pro-chinoise et déformante aura du mal à surpasser un modèle d’orientation pro-américaine à performances comparables
Le lien entre backdoors et inspection publique
- L’IA ne change pas la structure fondamentale du marché des vulnérabilités : les acteurs responsables corrigent les failles, les attaquants les exploitent
- Limiter les outils des acteurs responsables ne fait que favoriser les attaquants
- Il est théoriquement possible qu’un acteur malveillant insère dans un modèle des comportements adverses cachés
- Les acteurs responsables doivent détecter ces comportements le plus vite possible, et la manière la plus efficace d’y parvenir est de permettre à tous d’inspecter les modèles
La compétitivité des modèles de pointe et des agents de code
- Rien ne garantit que les acteurs de la frontière technologique domineront aussi les marchés hors frontière
- Dans le développement de petits modèles, l’accès à des capitaux massifs est moins important
- Les acteurs de la frontière ont peu d’incitation à développer activement de petits modèles, car ils peuvent orienter les utilisateurs vers des modèles plus chers
- L’effet de verrouillage de Claude Code et de Codex ressemble à celui de Coke et Pepsi : une fois le choix fait, il y a peu de raisons de changer, à condition que coût et qualité soient comparables
- Les agents de code n’ont pas d’avantage concurrentiel défendable ; au moindre désagrément — écart de prix, qualité du modèle, problèmes de fiabilité — les utilisateurs peuvent passer à un autre agent
La diffusion de l’IA open source
- L’IA open source est puissante et difficile à contrôler ; il sera donc difficile de l’arrêter par les seules préférences des décideurs politiques ou des dirigeants d’entreprise
- Les tentatives pour freiner sa diffusion ne produiront qu’un bruit temporaire et n’empêcheront pas l’émergence de l’IA open source
1 commentaires
Avis sur Hacker News
Ce n’est pas de l’IA open source. Il faudrait le code source de Photoshop et une licence OSI pour que ce soit de l’open source ; ne publier que le binaire relève des poids ouverts, et une application web SaaS correspond à un modèle fermé comme GPT ou Opus/Fable.
Le modèle chinois en question permet simplement d’exécuter le binaire dans son propre environnement au lieu de passer par une API. Si vous voulez du véritable open source, regardez des projets comme OLMo 3 : https://allenai.org/
Cela dit, des composants existent dans plusieurs projets : MAP-Neo et YuLan-Mini pour un préentraînement transparent, DAPO/verl et Open-Reasoner-Zero pour l’apprentissage par renforcement du raisonnement. L’arrivée d’un OLMo chinois n’est qu’une question de temps ; et si l’on tient compte des efforts du secteur public dans le monde, notamment Apertus en Suisse et LLM-jp-4 au Japon, il devrait exister en 2027 une documentation entièrement open source permettant même à des particuliers de reproduire des modèles de pointe au moins du niveau 2023-2024.
C’est plutôt proche de la recherche scientifique : il faut des financements publics et des institutions de confiance pour les gérer. J’espère qu’Allen AI jouera ce rôle, mais je me demande si les États-Unis se dirigent vraiment vers les investissements nécessaires à une IA d’intérêt public. Par ailleurs, Photoshop est une mauvaise comparaison avec les modèles à poids ouverts. On ne peut pas distribuer légalement une copie de Photoshop, alors qu’on peut distribuer GLM 5.2 ; pour comparer, il faudrait prendre une application propriétaire gratuite.
Même si l’on recevait toutes les données d’entraînement et toute l’architecture, on ne réentraînerait pas le modèle depuis zéro pour le modifier : on le fine-tunerait pour obtenir le comportement souhaité. Comme on parle d’open source quand on peut modifier un logiciel, on peut considérer un modèle comme ouvert s’il peut être fine-tuné.
En pratique, entraîner un modèle équivalent depuis zéro exige du véritable open source.
L’inquiétude autour des modèles chinois se concentre sur l’idée de « prendre du retard dans la course à l’IA », mais l’objectif évoqué par certains est d’atteindre une forme de singularité. Même sans croire aux interprétations de science-fiction, il existe un argument réaliste selon lequel certains résultats du développement de l’IA pourraient devenir, de fait, des armes surpuissantes.
Altman a lui-même déclaré publiquement que cela finirait par arriver et qu’il voulait être celui qui le réaliserait. Même sans superintelligence, si des machines peuvent exploiter des vulnérabilités de cybersécurité, c’est déjà largement suffisant pour inquiéter les gouvernements ; le gouvernement américain a d’ailleurs récemment utilisé ce type de justification lorsqu’il a interdit des modèles américains. Même si l’on ne croit pas à la singularité, il est facile de comprendre que certains la considèrent comme l’objectif de la course à l’IA.
Ils ont alors exécuté GLM, dépourvu de tels garde-fous, pour analyser les données et trouver la cause racine. Pour qu’une entreprise puisse évaluer correctement une menace, elle a aussi besoin de modèles avec des garde-fous minimaux. Sans IA à poids ouverts pour examiner une IA de pointe hors de contrôle, on perd aussi les moyens de riposte.
Les investisseurs attendent des revenus continus avant la singularité, donc les entreprises doivent vendre leurs modèles. Si elles verrouillent la génération actuelle, elles n’obtiennent plus les fonds nécessaires pour créer la suivante : c’est un équilibre délicat.
Il est amusant que cela arrive seulement 4 jours après qu’un dirigeant d’OpenAI a agité la peur en affirmant qu’« un agent sans vie, invisible, dangereux et capable de s’auto-répliquer à l’infini s’était échappé d’un laboratoire chinois » : https://news.ycombinator.com/item?id=48997548
Il peut y avoir des désaccords raisonnables sur le niveau de préoccupation à avoir, à court et moyen terme, concernant la sécurité de l’IA. Mais le fait de ne pas traiter du tout les arguments liés à ce sujet réduit fortement la valeur de cet article.
Le point de vue de l’article est une comparaison entre IA ouverte et IA fermée, et comme je ne pense pas que les préoccupations de sécurité diffèrent beaucoup entre les deux approches, je n’y ai pas consacré beaucoup de place.
La raison pour laquelle certains s’opposent à une IA que l’on peut exécuter librement en local, c’est que les entreprises veulent contrôler le grand public. Les États-Unis sont un enfer centré sur les entreprises.
Les LLM sont entraînés non seulement sur des données publiques, mais aussi sur des données obtenues illégalement. L’accord à 1,5 milliard de dollars d’Anthropic en est un exemple, et les LLM ne sont rien sans d’immenses volumes de données humaines
On peut considérer que ce type de recherche devrait être limité aux gouvernements et aux universités réglementées, plutôt qu’à des entreprises cotées opaques aux motivations conflictuelles, ou bien géré par une véritable communauté à but non lucratif dotée d’une gouvernance démocratique, comme pour les standards d’Internet et les télécommunications. Malgré toutes les démonstrations de vertu, il est difficile de croire que des entreprises privées se réguleront efficacement elles-mêmes et informeront le public et la communauté scientifique des risques en toute transparence ; les conflits d’intérêts permanents minent leur crédibilité
Dire qu’« on ne peut pas arrêter X » est un argument paresseux et médiocre pour conclure que « X n’est pas mauvais ». Le reste de l’article ne mérite pas de commentaire
Ma position est qu’on ne peut pas arrêter l’IA open source, et que toute tentative de le faire donnera inévitablement plus de pouvoir aux acteurs malveillants qu’aux acteurs bien intentionnés
Les fonds de lobbying ne se soucient pas de ce genre de discussion
On continue de découvrir des backdoors dans les routeurs et équipements réseau chinois. Je doute qu’on puisse un jour auditer entièrement les modèles chinois
Un modèle à poids ouverts n’est pas lié à une couche d’exécution précise ; en pratique, la surface de sécurité préoccupante se limite donc aux poids eux-mêmes. Il faut préciser s’il s’agit d’injection d’instructions adversariales, d’altération historique et d’injection de propagande, ou d’un autre chemin par lequel un modèle non souverain deviendrait particulièrement plus dangereux qu’un modèle souverain
Cet article ne traite absolument pas des questions de sécurité. Qu’est-ce qui empêcherait un acteur malveillant de fine-tuner des poids ouverts pour mener des escroqueries entièrement automatisées et de niveau génial, ciblant virtuellement chaque individu ?
Au final, pour empêcher les abus de poids fermés, qu’ils soient fine-tunés ou préentraînés, le camp des acteurs bien intentionnés a lui aussi besoin de poids ouverts
La cupidité des dirigeants de l’IA a ouvert la boîte, et ils cherchent maintenant désespérément un moyen d’en tirer profit sans assumer la responsabilité des conséquences
Si l’on a les moyens de les faire tourner en local, on peut faire des choses bien pires que des escroqueries. Il suffit de demander à un lobbyiste