Pourquoi les gouvernements, les entreprises et les organisations à but non lucratif doivent investir dans une IA libre et open source

• Le logiciel est à la fois un actif commercial et un système de connaissance qui se renforce lorsqu’il est partagé ; comme l’ont montré GCC et GNU/Linux, l’open source constitue une base essentielle de l’internet moderne et de l’industrie technologique
• Rendre le code public permet à des développeurs du monde entier de repérer et corriger les défauts, et à la prochaine génération d’ingénieurs d’apprendre à construire des systèmes de pointe ; la transparence contribue ainsi à la fois à la sécurité et à la formation des talents
• Si l’IA de pointe se concentre dans les modèles fermés d’un petit nombre d’entreprises, il devient difficile pour les chercheurs de vérifier le processus de construction et les données d’entraînement, et il devient aussi difficile d’auditer pleinement les décisions scientifiques, médicales, d’ingénierie et judiciaires qui dépendent de l’IA
• Comme le logiciel d’IA est en lui-même une capacité, il existe des risques liés à sa publication ; mais les modèles fermés restent eux aussi vulnérables aux fuites et aux jailbreaks, tout en entraînant une concentration du pouvoir où quelques entreprises décident des technologies autorisées
• Tous les modèles d’IA open source n’ont pas besoin d’atteindre l’échelle des modèles de pointe ; les gouvernements, les entreprises et les organisations à but non lucratif doivent investir dans le soutien public au calcul, le financement de la recherche universitaire et non lucrative, et le principe de publication par défaut des IA créées avec des fonds publics

---

Le débat autour du logiciel libre

• Lors des débats menés pendant environ deux ans avec Richard Stallman au MIT AI Lab dans les années 1980, l’idée dominante suivie alors était que le progrès logiciel nécessitait un contrôle exclusif du code par les entreprises
• Stallman estimait que le logiciel est un support de connaissance et qu’il doit donc pouvoir être utilisé, étudié et amélioré par tous ; cacher le code au sein d’une entreprise revenait, selon lui, à dissimuler la connaissance elle-même
• Les deux camps s’accordaient sur le fait que l’informatique est un moyen central d’accélérer le progrès humain, mais divergeaient sur la manière d’atteindre cet objectif
• Au fil de ces débats, l’idée que le logiciel n’est pas seulement un actif commercial, mais un système de connaissance qui devient plus fort lorsqu’il est partagé, a gagné en force
• Le principe défendu par Stallman selon lequel il faut garantir aux utilisateurs la liberté d’étudier, modifier, améliorer et partager le logiciel est devenu le fondement du mouvement du logiciel libre puis de l’open source

Le développement ouvert démontré par GCC et GNU/Linux

• GCC, créé par Stallman, convertit le code du monde entier en langage machine exécutable par les ordinateurs, et s’est imposé comme un programme essentiel toujours utilisé aujourd’hui
  • Ce succès n’a été possible non par le seul travail d’un individu, mais grâce aux contributions de milliers de personnes
• GNU/Linux, né du même esprit de développement ouvert, fait aujourd’hui fonctionner la majeure partie d’internet
• L’environnement technologique moderne dépend fortement des principes du développement ouvert et de l’open source

Les effets de l’ouverture sur la sécurité et l’apprentissage

• Au départ, le principal contre-argument reposait sur la logique de la sécurité par l’obscurité, selon laquelle il fallait cacher le logiciel pour protéger les ordinateurs
• Un logiciel transparent permet à une communauté mondiale de développeurs de détecter et corriger les problèmes, alors qu’un logiciel fermé doit espérer que personne n’examinera assez profondément son fonctionnement interne
• La communauté open source diffuse largement le savoir sur les méthodes de construction et joue aussi le rôle de manuel de fait pour la formation d’une génération d’ingénieurs
• Si tous les systèmes de pointe restent cachés, il devient presque impossible d’apprendre à partir de systèmes verrouillés et donc de former la prochaine génération d’innovateurs

L’écosystème open source qui a soutenu l’industrie technologique

• Des décennies de progrès technologiques sont nées d’un écosystème délicat dans lequel entreprises privées, universités et dizaines de milliers de bénévoles ont contribué à une base logicielle partagée
• Plusieurs entreprises à succès au niveau mondial ont généré des revenus en construisant des services sur des technologies fondamentales ouvertes
• Le logiciel propriétaire a aussi un rôle à jouer, mais l’open source a servi de fondation supportant le poids de l’industrie technologique moderne ; il faut donc éviter de l’affaiblir

Une IA qui se ferme dès ses débuts

• L’IA est elle aussi du logiciel, mais les modèles de pointe les plus avancés sont totalement fermés, et la vitesse de fermeture s’accélère
• Les alternatives ouvertes réellement exploitables sont rares ; les modèles actuels sont excellents, mais encore incomplets, et les méthodes de construction ne sont pas encore stabilisées
• Fermer dès maintenant un domaine scientifique encore jeune, où les percées les plus profondes restent à venir, risque de faire disparaître les connaissances partagées nécessaires au progrès
• La science universitaire a progressé en publiant ses résultats, permettant au monde entier de mener des travaux ultérieurs
• Si l’essentiel de la science future dépend de l’IA, enfermer l’IA à l’intérieur de quelques entreprises risque aussi de freiner le progrès scientifique

Qui contrôle la bibliothèque du futur ?

• Une bibliothèque est une ressource partagée qui permet à chacun d’accéder gratuitement aux connaissances accumulées par l’humanité
• Si un petit nombre d’entreprises achetaient toutes les bibliothèques, décidaient quels livres peuvent être lus et en modifiaient discrètement le contenu, cela serait difficilement acceptable
  • L’IA fermée ressemble elle aussi à une bibliothèque du futur à laquelle on n’accède qu’aux conditions fixées par son propriétaire
• Si quelques entreprises déterminent le périmètre autorisé des modèles ou ajustent la manière dont ils produisent leurs réponses, ceux qui en dépendent ne peuvent plus comprendre pleinement les résultats
  • le médecin qui utilise un modèle pour poser un diagnostic
  • l’ingénieur qui lui confie une conception
  • le juge qui s’en sert pour éclairer sa décision
  • et l’utilisateur ordinaire qui lui demande quoi croire se retrouvent tous face au même problème

L’explication d’un modèle n’est pas une trace d’audit

• Même si un modèle peut donner des raisons, explication et audit ne sont pas la même chose
• Les raisons fournies par un modèle ne constituent pas un enregistrement fidèle des calculs réels qui ont produit la réponse, mais un récit plausible assemblé après coup
• Si la réponse à une même question change l’année suivante, il peut être impossible de savoir si la réalité a changé ou si le fournisseur a modifié le modèle
• Les utilisateurs qui dépendent de tels systèmes en viennent alors à faire confiance à des systèmes de type oracle dont l’intérieur ne peut être inspecté, au lieu d’utiliser des outils compréhensibles

Les risques créés par l’IA ouverte et l’IA fermée

• L’argument selon lequel l’IA serait trop dangereuse pour être publiée mérite d’être examiné sérieusement
• Les articles scientifiques décrivent des capacités, mais le logiciel d’IA sous-jacent est lui-même une capacité ; il existe donc une asymétrie réelle entre la publication de la recherche en général et celle de l’IA
• Cela ne signifie pas pour autant que la fermeture soit la seule réponse possible
  • Les découvertes scientifiques peuvent elles aussi être détournées, mais au lieu de classer toute la physique comme secrète, on applique surveillance et règles tout en gardant les connaissances fondamentales ouvertes
  • Les modèles fermés peuvent eux aussi fuiter ou être jailbreakés ; le simple fait d’être fermés ne les rend donc pas sûrs
• La concentration du pouvoir qui permet à quelques entreprises de décider de ce que le reste de la société peut construire crée aussi un risque distinct
• Le critère de jugement n’est pas de savoir si un modèle ouvert comporte le moindre risque, mais s’il crée un risque additionnel significatif par rapport aux capacités déjà disponibles

La différence entre code d’exécution et code de construction

• Derrière un modèle se trouvent deux types de code : le code qui exécute le modèle et le code qui a servi à le construire
• La possibilité d’exécuter directement un modèle est utile, mais pour la transparence, le plus important est le code de construction et les données d’entraînement qui montrent comment le modèle a été créé
• Les modèles actuellement présentés comme ouverts par de grands instituts de recherche chinois et certaines entreprises américaines fournissent le code d’exécution, mais pas le code de construction ni les données d’entraînement
• Ce que reçoivent les utilisateurs, c’est un immense ensemble de nombres qui produit de l’intelligence sans révéler comment elle a été formée ; même si on peut l’exécuter, cela ressemble davantage à des nombres magiques qu’on ne peut pas expliquer
• Même la publication du code d’exécution n’est pas un engagement durable, mais une faveur accordée à la discrétion des entreprises ; rien ne garantit que les modèles les plus puissants resteront publiés à l’avenir
• Une ouverture qui peut être interrompue à tout moment ne peut pas servir de fondation ; il faut donc les deux
  • des modèles ouverts que chacun peut utiliser et étendre
  • des sources et données d’entraînement ouvertes que chacun peut examiner pour vérifier le processus de fabrication

Investir dans l’IA open source comme bien public

• Il ne s’agit pas de s’opposer à l’existence d’entreprises d’IA ni à l’IA privée en elle-même, mais l’IA privée fermée ne doit pas devenir l’unique option
• L’IA privée américaine bénéficie déjà d’un soutien suffisant, tandis que l’IA open source dispose d’une base de défense plus faible et peut facilement être écartée des politiques publiques et des investissements
• Les modèles de pointe peuvent continuer à croître en taille et en coût, si bien que la compétition à cette échelle pourrait rester l’apanage des très grandes entreprises
• Pour être utile, l’IA open source n’a pas nécessairement besoin d’être à la même échelle que les modèles de pointe, et nombre de tâches dont le monde a besoin n’exigent peut-être pas des performances absolument à la frontière de l’état de l’art
• Si le maintien d’alternatives ouvertes fiables exige d’importantes ressources de calcul, c’est un bien public qui mérite d’être financé
• Les gouvernements, le secteur privé et les organisations à but non lucratif doivent investir activement dans une IA libre et open source
  • fournir des subventions publiques de calcul pour la recherche ouverte
  • soutenir par des financements d’entreprise et philanthropiques les universités et organisations à but non lucratif qui mènent ces recherches
  • adopter le principe selon lequel les IA construites avec des fonds publics doivent être ouvertes par défaut
• La manière dont l’investissement dans le logiciel open source a stimulé le progrès technologique doit être prolongée dans le domaine de l’IA

[GN⁺]

Avis de Hacker News

• Les entreprises privées d’IA entraînent leurs modèles sur des données qu’elles ont de fait prises à tout le monde, tout en créant de grands risques ; il faudrait donc les obliger à publier leurs modèles avec des poids ouverts sous licence non commerciale
  C’est cette direction, et non la capture réglementaire promue par Dario, qui devrait être au cœur de la politique de sûreté

  • Je ne sais pas sur quel précédent repose l’idée que les données auraient été volées. Pendant vingt ans, des gens ont bloqué les pubs et accumulé 5 To de films et de musique piratés en disant « je ne paierai jamais pour des fichiers numériques » ; maintenant, quand les grands modèles de langage prédisent le prochain token à partir de jeux de données, ils les accusent de vol
    Si vous êtes vraiment en colère contre l’entraînement sur toutes les données disponibles sans compensation, on ne peut qu’appeler cela un retour de bâton mérité
  • Je suis d’accord, d’autant plus qu’il est désormais plus difficile pour les concurrents d’obtenir le même avantage. Même s’il n’est pas nécessaire de tout publier immédiatement ni de fournir les réglages fins, il faudrait au minimum publier les poids des modèles de base
  • Dans certains cas, comme le risque de fournir étape par étape la recette d’une arme biologique infectieuse, les poids ouverts peuvent au contraire accroître le danger
  • Idée intéressante, mais la Chine ne pourrait-elle pas alors produire immédiatement des modèles du même niveau que les nôtres ? La valeur économique d’un investissement dans l’entraînement de modèles pourrait aussi fortement diminuer
  • Pourquoi interdire l’usage commercial ? Ce n’est pas comme si ces entreprises avaient fait le difficile travail fondamental ; le simple fait qu’on les ait autorisées à privatiser ainsi une ressource partagée est honteux

• Il faudrait financer collectivement des prix incitatifs ciblés pour les modèles ouverts, à la manière de Michael Kremer, lauréat du Nobel
  Tous les 6 à 12 mois, on pourrait attribuer 200 000 dollars au premier modèle dépassant un seuil sur 5 à 10 benchmarks difficiles et un benchmark privé, avec 16 Go, 32 Go, 64 Go ou 128 Go de VRAM et une longueur de contexte minimale de 200K, puis relever les seuils à l’édition suivante. La quantification serait libre, mais le modèle devrait utiliser exactement cette quantité de VRAM sur la machine de référence, sans déborder vers la RAM ou le disque
  Le financement pourrait venir du crowdfunding, avec des prix supplémentaires spécialisés sur des besoins d’entreprise, comme le traitement de PDF, pour faire de la péréquation. Par exemple, 25 % des prix d’entreprise iraient au pot commun général. Pour les entreprises de modèles ouverts, l’argent serait utile, mais une reconnaissance officielle claire qui mette leur modèle en avant et en augmente l’usage pourrait avoir encore plus de valeur

  • Je me souviens que le gouvernement coréen avait organisé un concours similaire. L’an dernier, plusieurs modèles ont été publiés en même temps pour passer à l’étape suivante, mais les modèles eux-mêmes n’étaient pas particulièrement impressionnants
    Des catégories matérielles claires sont un bon facteur de différenciation, mais les benchmarks doivent absolument rester privés. Créer et gérer de bons jeux d’évaluation à chaque étape est difficile même pour des évaluations internes honnêtes en laboratoire ; pour inspirer confiance, il faudrait les publier à la fin de chaque édition, puis créer une nouvelle évaluation. C’est possible, mais le coût de gestion de l’évaluation pourrait dépasser le montant total des prix, et il faudrait recommencer sans cesse
  • Même si je ne peux pas entraîner un modèle à l’état de l’art, la catégorie 16 Go serait à ma portée et pourrait être amusante. Les modèles de pointe dépassent largement cette catégorie, donc il doit rester beaucoup de techniques d’optimisation encore peu explorées
  • Il vaudrait mieux ajouter des exigences de reproductibilité et ne pas garder exactement les mêmes benchmarks trop longtemps
  • Avec 200 000 dollars, on ne couvre peut-être même pas la facture d’électricité de l’entraînement

• Le FOSS est une mauvaise analogie. Construire des grands modèles de langage de pointe relève surtout d’un programme de recherche scientifique, plutôt que de l’ingénierie
  Il existe des programmes de recherche qui fonctionnent de fait comme de l’open source, notamment dans les universités et les grands projets comme le CERN. L’IA aussi s’est développée à l’université, mais il est apparu que seul le secteur privé pouvait mobiliser le capital nécessaire
  Un véritable programme public de recherche en IA serait possible, mais il ne s’agirait pas simplement d’augmenter un peu les financements universitaires : ce serait plutôt du niveau du projet Manhattan ou du programme Apollo, que les laboratoires de pointe citent déjà comme modèles

  • Le coût total du projet Manhattan, corrigé de l’inflation, était d’environ 40 milliards de dollars, mais la dernière levée de fonds d’Anthropic à elle seule a réuni 65 milliards de dollars
    Au plus fort de la guerre froide, le coût total du programme Apollo représenterait aujourd’hui environ 300 milliards de dollars, soit à peu près autant que ce qu’OpenAI et Anthropic ont levé ensemble jusqu’ici. On peut douter que les gouvernements puissent financer l’IA à ce niveau dans l’environnement politique et économique actuel. À titre de comparaison, le LHC a coûté moins de 10 milliards de dollars sur une période beaucoup plus longue
  • Vu autrement, la recherche en IA s’est développée dans les universités, et ce n’est que récemment que le secteur privé a identifié le potentiel de rentabilité lorsqu’elle est combinée aux technologies modernes de CPU et de GPU
    Cela peut sembler dire la même chose, mais le point de vue est différent. Un programme de recherche académique n’aurait pas dépensé des dizaines de milliards de dollars en datacenters pour fournir gratuitement l’IA au grand public

• On investit déjà dans l’IA open source, mais rien n’est vraiment gratuit. L’IA commerciale, développée par des personnes dont c’est le métier et qui sont rémunérées pour cela, aura généralement l’avantage ; la bonne volonté et les contributions à temps partiel peuvent difficilement battre durablement les moyens de subsistance et l’incitation au profit

  • On a dit la même chose pour les systèmes d’exploitation, les bases de données, les compilateurs et d’autres domaines logiciels vastes et complexes ; avec le temps, les logiciels open source y ont pris une place de plus en plus dominante
  • L’intelligence artificielle générale (AGI) n’est pas du logiciel
    Si Altman, Amodei, Zuckerberg et Musk, les quatre personnes qui contrôlent presque exclusivement les modèles fermés de pointe, ne trompent pas les investisseurs et créent réellement l’AGI, alors les modèles fermés ne laissent comme options qu’un État puissant ou un oligopole/monarchie puissant
    Musk et Zuckerberg disposent structurellement du commandement. Altman a de fait obtenu le commandement et la loyauté de l’organisation après l’éviction de ses rivaux et la privatisation, et Amodei a assez d’influence pour potentiellement renverser la gouvernance actuelle

• Le fait qu’un logiciel soit à source fermée ne signifie pas que la connaissance ne puisse pas être partagée. On peut expliquer des modèles d’architecture ou des bonnes pratiques sans voir le code sous-jacent
  L’analogie avec les bibliothèques ne devient exacte que si les fournisseurs de grands modèles de langage doivent refuser de répondre aux questions sur l’apprentissage par renforcement ou les Transformers
  Je soutiens fortement les modèles à source ouverte et à poids ouverts, mais surtout parce que je les considère comme de meilleurs produits. Leur entraînement et leur exploitation coûtent bien moins cher, et la plupart des tâches n’exigent peut-être pas une intelligence de pointe. Laissé au marché, le grand modèle de langage finira par ressembler à un langage de programmation, et les grands laboratoires gagneront probablement de l’argent grâce à des ajustements fins pour des usages spécifiques ou à des déploiements client

  • Il ne faut pas laisser faire le marché seul. Les clients ne choisissent pas toujours l’option techniquement la meilleure ou la moins chère

• Selon la logique de ceux qui poussent l’IA, quelques prompts de grands modèles de langage soigneusement choisis devraient permettre de reproduire le travail des développeurs open source ; alors pourquoi les financer ? Ne faudrait-il pas plutôt que les entreprises d’IA financent le FOSS afin de pouvoir mémoriser davantage de solutions ?

• Il suffit de retirer « IA » du titre. Les gouvernements, entreprises et organisations à but non lucratif devraient investir dans le libre et l’open source

• L’analogie avec les bibliothèques tient en elle-même, mais ce qui dérange, c’est que la plupart des modèles ouverts ressemblent davantage à la réception d’un binaire compilé qu’à celle d’une bibliothèque

• Si le public veut conserver ne serait-ce qu’un peu de contrôle, les coopératives détenues par leurs membres pourraient être la voie à suivre

• David Siegel disait il y a environ deux ans, dans une conférence https://youtu.be/0z60xUDo-NI?si=PTDe11-sn2P53qo5&t=420, que l’expansion des datacenters d’IA était prématurée
  Même si l’approche actuelle continue à passer à l’échelle, c’est comme si, aux débuts de l’informatique, quelqu’un avait inventé un algorithme en O(n²), le tri à bulles, pour trier des nombres, et que les entreprises tech s’étaient mises à construire d’immenses datacenters pour trier des nombres sans chercher de méthode en O(n log n). C’est tout à fait juste, et cela vaut aussi pour l’IA open source

  • Demandez à Amodei ce qu’il pense aujourd’hui du fait d’être allé jusqu’à voir le soi-disant méchant astronaute pour obtenir des ressources de calcul qu’on ne trouvait nulle part sur le marché