OpenAI reporte la publication complète de son nouveau modèle de langage GPT-2 en raison des risques (2019)
(slate.com)- GPT-2 est une IA de génération de texte à grande échelle entraînée sur 8 millions de pages web, capable de prolonger naturellement une phrase donnée
- OpenAI a estimé que ce modèle présentait un risque d’usage abusif pour les fake news ou l’usurpation d’identité en ligne, et n’a donc publié qu’une version réduite au lieu du modèle complet
- Des chercheurs ont souligné que cette non-publication ne constituait qu’une réponse temporaire, et que des modèles similaires seraient bientôt reproductibles
- Certains ont critiqué OpenAI en l’accusant d’avoir exagéré les risques pour attirer l’attention, tandis que d’autres experts y ont vu un déclencheur du débat sur l’éthique de l’IA
- Ce cas marque un tournant important en montrant comment trouver un équilibre entre la responsabilité dans la publication de l’IA et le caractère inévitable de la diffusion technologique
Le report de la publication de GPT-2 par OpenAI et le débat sur l’éthique de l’intelligence artificielle
- OpenAI a développé GPT-2, un nouveau modèle de génération de texte capable de produire des phrases cohérentes à partir d’un sujet donné, mais a reporté la publication du modèle complet pour des raisons de sûreté et de sécurité
- À la place, seule une version réduite a été publiée, tandis que le jeu de données et le code d’entraînement utilisés sont restés non publics
- Les médias ont réagi de manière excessive, le décrivant comme une « intelligence artificielle à un niveau qu’il faudrait sceller pour le bien de l’humanité », et des experts ont estimé qu’il y avait une exagération des risques
- Cette décision a déclenché un débat sur la question de savoir jusqu’où autoriser la publication d’algorithmes d’IA potentiellement dangereux
Caractéristiques techniques et performances de GPT-2
- GPT-2 est un modèle de langage entraîné sur le texte de 8 millions de pages web, selon une méthode consistant à prédire le mot suivant dans une phrase
- Il peut générer des phrases qui prolongent naturellement l’entrée en respectant son style et son sujet
- Par exemple, lorsqu’on lui fournit la phrase « on a découvert un troupeau de licornes anglophones dans les Andes », GPT-2 complète le texte sous la forme d’un faux article scientifique
- Il peut aussi produire du texte dans divers styles d’écriture, comme le roman, la chronique ou le discours
- Les textes générés contiennent parfois des répétitions, des changements de sujet maladroits ou des éléments illogiques, mais ils sont jugés nettement meilleurs que ceux des modèles précédents en matière de compréhension du contexte et de cohérence des phrases
- GPT-2 est capable de distinguer les mots polysémiques et de reconnaître des usages rares, avec des applications possibles dans la traduction, les chatbots et les outils d’aide à l’écriture
La décision de ne pas tout publier et la controverse qu’elle a suscitée
- OpenAI craignait que GPT-2 ne soit détourné pour générer de fausses informations, usurper l’identité de personnes en ligne ou diffuser du spam
- En conséquence, l’entreprise n’a publié qu’une version réduite au lieu du modèle complet, et a conservé privés les données d’entraînement et le code
- Cependant, de nombreux chercheurs en IA ont souligné que cette non-publication n’était qu’une mesure temporaire
- Robert Frederking, de l’université Carnegie Mellon, a déclaré que « la technologie utilisée par OpenAI n’a rien de nouveau, et d’autres chercheurs pourront bientôt créer des modèles comparables »
- Certains ont avancé qu’une organisation disposant de suffisamment de capital et de connaissances pourrait construire un modèle similaire en utilisant simplement des services cloud comme AWS
- Plusieurs chercheurs ont reproché à OpenAI d’avoir exagéré les risques pour attirer l’attention, au prix d’une limitation des possibilités de recherche pour le monde académique
- À l’inverse, David Bau, du MIT, a vu dans cette décision un geste visant à déclencher un débat sur l’éthique de l’IA, estimant qu’« il est positif qu’OpenAI ait attiré l’attention sur cette question »
La publication de l’intelligence artificielle et le problème du jugement éthique
- John Bowers, du Berkman Klein Center de Harvard, explique que la décision de publier ou non une technologie d’IA relève d’une analyse coûts-bénéfices
- Il soutient la publication des algorithmes de génération de texte qui contribuent aux progrès du traitement du langage naturel, mais estime qu’il faut être prudent avec les technologies de reconnaissance d’image susceptibles d’être détournées à des fins de surveillance ou de manipulation
- Il souligne en particulier que la technologie des deepfakes cause « bien plus de tort que de bénéfices »
- Selon Bowers, ce type de décision révèle le manque de maturité du domaine de l’IA
- À l’heure actuelle, le domaine du machine learning manque de critères systématiques permettant d’évaluer l’impact social des technologies et les considérations éthiques
Les limites du contrôle de la diffusion technologique et des précédents historiques comparables
- Comme l’a montré l’histoire récente, les tentatives visant à freiner ou contrôler la diffusion des outils d’IA ont de fortes chances d’échouer
- Frederking cite comme précédent comparable l’échec des tentatives de régulation de la cryptographie dans les années 1990
- À l’époque, le gouvernement avait poussé un projet de loi imposant l’installation de portes dérobées pour permettre l’écoute des communications, mais Phil Zimmerman a neutralisé cette initiative en développant l’outil de chiffrement PGP
- Par la suite, des technologies de chiffrement robustes sont devenues facilement accessibles à l’étranger également, rendant toute régulation pratiquement impossible
- Frederking insiste : « quand le moment du progrès scientifique arrive, on ne peut pas l’arrêter. On peut seulement décider comment y répondre »
Conclusion
- Le report de la publication de GPT-2 est considéré comme un cas important autour des risques de la technologie IA et de la responsabilité liée à sa publication
- La décision d’OpenAI met en lumière la question de l’équilibre entre l’éthique de l’IA, la transparence et le caractère inévitable de la diffusion technologique
- À long terme, il sera nécessaire de définir des critères conciliant l’ouverture de la recherche en IA et la sécurité de la société
7 commentaires
Plus précisément, on dirait que ce commentaire a été posté parce que les raisons pour lesquelles OpenAI, à l’époque où Amodei y était, a gardé GPT-2 privé ressemblent à celles invoquées pour ne pas rendre public le modèle Mischief. L’Amodei de l’époque et l’Amodei d’aujourd’hui n’ont pas changé...
En y repensant maintenant, c’est assez drôle lol. Le fait qu’en moins de 10 ans la situation soit devenue presque risible fait aussi un peu peur.
À titre de référence, si vous regardez le contenu du billet qui mentionne GPT-2 ou l’année de rédaction du texte original, 2019, vous verrez qu’il y a l’idée que, concernant la décision récente d’Anthropic de ne pas publier le modèle Misos au motif qu’il serait trop dangereux, OpenAI aussi avait déjà fait beaucoup de bruit autour de GPT-2 à l’époque.
Dans le cas de HN, il semble qu’il y ait l’usage d’ajouter l’année pour les anciens billets (je ne sais pas si c’est ajouté automatiquement), et je me dis que ce serait bien si GeekNews l’affichait aussi.
La plupart sont censés être récupérés, mais celui-ci a été traité en étant étrangement omis. Je vais le corriger pour qu’on n’y touche pas.
Sam Altman s’identifie à Oppenheimer, peut-être ? Si c’est dangereux, il vaudrait mieux le rendre public après l’avoir sécurisé correctement ; je trouve qu’encourager son utilisation n’est pas très cohérent. Je pense que c’est pareil pour le cas d’Anthropic Mythos.
J’ai trouvé ce qu’Anthropic disait crédible, mais pourquoi ce qu’OpenAI dit m’inspire-t-il si peu confiance ?
Est-ce parce qu’Anthropic a fait du show-and-proof en créant un patch zero-day ?
Ou parce qu’OpenAI a déjà ressorti ce répertoire plusieurs fois ?
Commentaires sur Hacker News
Quelqu’un devrait rassembler ce genre de moments légendaires d’OpenAI
Par exemple : « GPT-2 est trop dangereux », « DALL-E en 64x64 fait trop peur », « AGI atteinte », « Q*/strawberry résout des problèmes de maths et plonge les chercheurs dans la panique »
J’aime bien Codex moi aussi, mais ce genre de promotion exagérée est à la fois drôle et fatigant
Aujourd’hui, j’ai passé la journée entière à essayer de corriger un simple bug d’UI avec Codex GPT-5.4, Claude Opus 4.6-1M, Gemini 3.1 Pro, etc., sans succès, et j’ai fini par ouvrir le code moi-même pour le corriger
Réglé en 20 minutes, et le plus drôle, c’est que je ne connaissais absolument ni ce langage ni ce framework
Cela dit, il l’a corrigé en 20 minutes, donc il faut rester prudent — il a peut-être appris quelque chose
Je pense que c’est la meilleure manière de garder un modèle mental clair
Les modèles sont vraiment mauvais sur les bugs d’UI ou le CSS. Les tests unitaires sont indispensables
Cette polémique semble être une réaction à Mythos, mais je pense qu’à l’époque la décision d’OpenAI était la bonne
Quand GPT-2 est sorti, le secteur a complètement changé, et ce n’était pas juste de la recherche, c’était le signal d’une nouvelle ère
Mythos, de la même manière, montre quelque chose qu’on n’avait jamais vu auparavant
J’ai lu le livre blanc de 250 pages, et ses capacités de hacking étaient étonnantes, tout comme l’ampleur des améliorations en matière de sécurité sur le mois écoulé
Prendre davantage de temps en tenant compte de l’impact sociétal est une bonne chose
C’était juste par accident, mais aujourd’hui l’explosion des contenus de mauvaise qualité semble être un vrai problème
Ils disaient que « les images, l’audio et la vidéo synthétiques réduiraient le coût de production des faux contenus, et que le public devrait devenir plus sceptique vis-à-vis des textes en ligne », et c’est exactement la situation actuelle
Article lié
Au début, je n’avais pas vu l’année et j’ai sursauté
OpenAI a du mal à lever des fonds, et le portrait d’Altman dans le New Yorker n’était pas flatteur, donc on comprend qu’ils soient revenus à une stratégie de RP du genre « empêchez-la de tirer sur mamie »
On entend parfois : « Si c’était vraiment une technologie dangereuse, elle ne serait pas disponible pour 20 dollars par mois »
Les choses réellement dangereuses ne sont jamais mises à disposition du grand public
Et pourtant, c’est étonnant de voir des experts ignorer un raisonnement aussi élémentaire
En ce moment, quand on dit « trop dangereux pour être rendu public », on parle de Mythos d’Anthropic
Apparemment, c’est tellement puissant que seules des entreprises approuvées peuvent y accéder
« Trop dangereux pour être rendu public » voulait en réalité dire : « les poids du modèle ne seront pas publiés en open source »
Au final, les poids ont bien été publiés, et le contexte n’est pas le même que pour Anthropic Mythos
À l’époque, je faisais entraîner Transformer-XL avec Ben Mann en dehors d’OpenAI
À l’origine, nous comptions publier les poids comme pour un GPT-2.5, mais des amis chez OpenAI nous ont encouragés à ne pas le faire
Billet lié
Il a ensuite raconté son expérience en détail
Selon lui, OpenAI a été poli et sincère dans la discussion, allant jusqu’à lui expliquer la vision des gouvernements et des services de renseignement sur les risques
Il a finalement renoncé à publier le modèle, estimant que mieux vaut prévenir que guérir
Il voulait laisser un précédent pour le jour où un modèle plus dangereux apparaîtrait
Les bons billets sont toujours publiés après que les Américains se sont endormis
Je me souviens encore de l’exemple d’article sur la licorne généré par GPT-2 que j’avais lu en 2019
À l’époque, ça m’avait vraiment choqué. Presque plus que GPT-3.5 ou 4