OpenAI reporte la publication complète de son nouveau modèle de langage GPT-2 en raison des risques (2019)

• GPT-2 est une IA de génération de texte à grande échelle entraînée sur 8 millions de pages web, capable de prolonger naturellement une phrase donnée
• OpenAI a estimé que ce modèle présentait un risque d’usage abusif pour les fake news ou l’usurpation d’identité en ligne, et n’a donc publié qu’une version réduite au lieu du modèle complet
• Des chercheurs ont souligné que cette non-publication ne constituait qu’une réponse temporaire, et que des modèles similaires seraient bientôt reproductibles
• Certains ont critiqué OpenAI en l’accusant d’avoir exagéré les risques pour attirer l’attention, tandis que d’autres experts y ont vu un déclencheur du débat sur l’éthique de l’IA
• Ce cas marque un tournant important en montrant comment trouver un équilibre entre la responsabilité dans la publication de l’IA et le caractère inévitable de la diffusion technologique

---

Le report de la publication de GPT-2 par OpenAI et le débat sur l’éthique de l’intelligence artificielle

• OpenAI a développé GPT-2, un nouveau modèle de génération de texte capable de produire des phrases cohérentes à partir d’un sujet donné, mais a reporté la publication du modèle complet pour des raisons de sûreté et de sécurité
• À la place, seule une version réduite a été publiée, tandis que le jeu de données et le code d’entraînement utilisés sont restés non publics
• Les médias ont réagi de manière excessive, le décrivant comme une « intelligence artificielle à un niveau qu’il faudrait sceller pour le bien de l’humanité », et des experts ont estimé qu’il y avait une exagération des risques
• Cette décision a déclenché un débat sur la question de savoir jusqu’où autoriser la publication d’algorithmes d’IA potentiellement dangereux

Caractéristiques techniques et performances de GPT-2

• GPT-2 est un modèle de langage entraîné sur le texte de 8 millions de pages web, selon une méthode consistant à prédire le mot suivant dans une phrase
• Il peut générer des phrases qui prolongent naturellement l’entrée en respectant son style et son sujet
• Par exemple, lorsqu’on lui fournit la phrase « on a découvert un troupeau de licornes anglophones dans les Andes », GPT-2 complète le texte sous la forme d’un faux article scientifique
• Il peut aussi produire du texte dans divers styles d’écriture, comme le roman, la chronique ou le discours
• Les textes générés contiennent parfois des répétitions, des changements de sujet maladroits ou des éléments illogiques, mais ils sont jugés nettement meilleurs que ceux des modèles précédents en matière de compréhension du contexte et de cohérence des phrases
• GPT-2 est capable de distinguer les mots polysémiques et de reconnaître des usages rares, avec des applications possibles dans la traduction, les chatbots et les outils d’aide à l’écriture

La décision de ne pas tout publier et la controverse qu’elle a suscitée

• OpenAI craignait que GPT-2 ne soit détourné pour générer de fausses informations, usurper l’identité de personnes en ligne ou diffuser du spam
• En conséquence, l’entreprise n’a publié qu’une version réduite au lieu du modèle complet, et a conservé privés les données d’entraînement et le code
• Cependant, de nombreux chercheurs en IA ont souligné que cette non-publication n’était qu’une mesure temporaire
  • Robert Frederking, de l’université Carnegie Mellon, a déclaré que « la technologie utilisée par OpenAI n’a rien de nouveau, et d’autres chercheurs pourront bientôt créer des modèles comparables »
• Certains ont avancé qu’une organisation disposant de suffisamment de capital et de connaissances pourrait construire un modèle similaire en utilisant simplement des services cloud comme AWS
• Plusieurs chercheurs ont reproché à OpenAI d’avoir exagéré les risques pour attirer l’attention, au prix d’une limitation des possibilités de recherche pour le monde académique
• À l’inverse, David Bau, du MIT, a vu dans cette décision un geste visant à déclencher un débat sur l’éthique de l’IA, estimant qu’« il est positif qu’OpenAI ait attiré l’attention sur cette question »

La publication de l’intelligence artificielle et le problème du jugement éthique

• John Bowers, du Berkman Klein Center de Harvard, explique que la décision de publier ou non une technologie d’IA relève d’une analyse coûts-bénéfices
• Il soutient la publication des algorithmes de génération de texte qui contribuent aux progrès du traitement du langage naturel, mais estime qu’il faut être prudent avec les technologies de reconnaissance d’image susceptibles d’être détournées à des fins de surveillance ou de manipulation
• Il souligne en particulier que la technologie des deepfakes cause « bien plus de tort que de bénéfices »
• Selon Bowers, ce type de décision révèle le manque de maturité du domaine de l’IA
  • À l’heure actuelle, le domaine du machine learning manque de critères systématiques permettant d’évaluer l’impact social des technologies et les considérations éthiques

Les limites du contrôle de la diffusion technologique et des précédents historiques comparables

• Comme l’a montré l’histoire récente, les tentatives visant à freiner ou contrôler la diffusion des outils d’IA ont de fortes chances d’échouer
• Frederking cite comme précédent comparable l’échec des tentatives de régulation de la cryptographie dans les années 1990
  • À l’époque, le gouvernement avait poussé un projet de loi imposant l’installation de portes dérobées pour permettre l’écoute des communications, mais Phil Zimmerman a neutralisé cette initiative en développant l’outil de chiffrement PGP
  • Par la suite, des technologies de chiffrement robustes sont devenues facilement accessibles à l’étranger également, rendant toute régulation pratiquement impossible
• Frederking insiste : « quand le moment du progrès scientifique arrive, on ne peut pas l’arrêter. On peut seulement décider comment y répondre »

Conclusion

• Le report de la publication de GPT-2 est considéré comme un cas important autour des risques de la technologie IA et de la responsabilité liée à sa publication
• La décision d’OpenAI met en lumière la question de l’équilibre entre l’éthique de l’IA, la transparence et le caractère inévitable de la diffusion technologique
• À long terme, il sera nécessaire de définir des critères conciliant l’ouverture de la recherche en IA et la sécurité de la société