Retour sur les affirmations de Sam Altman et Greg Brockman concernant un chercheur d’OpenAI en sécurité

• Remerciements pour les contributions de Jan et explication de la stratégie

  • Nous remercions Jan pour ses contributions et pensons qu’il continuera à contribuer à la mission depuis l’extérieur.
  • Nous voulons expliquer notre stratégie concernant les questions soulevées par son départ.

• Renforcer la prise de conscience des risques et des opportunités de l’AGI

  • Renforcer la prise de conscience des risques et des opportunités de l’AGI afin que le monde soit mieux préparé.
  • Démontrer à plusieurs reprises la capacité de mise à l’échelle du deep learning et en analyser les implications.
  • Appeler à une gouvernance internationale de l’AGI, un sujet qui n’était pas populaire à l’époque.
  • Pionnier de la science de l’évaluation des risques catastrophiques des systèmes d’IA.

• Poser les bases du déploiement de systèmes sûrs

  • Poser les bases du déploiement sûr de systèmes de plus en plus capables.
  • Rendre une nouvelle technologie sûre pour la première fois n’est pas chose facile.
  • Beaucoup de travail a été accompli pour présenter GPT-4 au monde en toute sécurité.
  • En s’appuyant sur les enseignements tirés du déploiement, continuer à améliorer le comportement des modèles et la surveillance des abus.

• Les défis à venir

  • L’avenir sera plus difficile que le passé.
  • Il faut continuer à renforcer le travail sur la sécurité à la hauteur de l’importance des nouveaux modèles.
  • Cela a été structuré via le Preparedness Framework introduit l’an dernier.

• Vision de l’avenir

  • À mesure que les modèles deviendront plus puissants, ils devraient s’intégrer plus profondément au monde.
  • Les utilisateurs n’interagiront pas seulement avec un modèle unique via des entrées et sorties textuelles, mais avec des systèmes composés de plusieurs modèles multimodaux et d’outils.

• Développer des systèmes sûrs et bénéfiques

  • Nous pensons que ces systèmes seront très bénéfiques et utiles aux personnes, et qu’ils pourront être fournis en toute sécurité.
  • Beaucoup de travail de fond est nécessaire pour cela.
  • Cela inclut une réflexion attentive sur les éléments connectés pendant l’entraînement, ainsi que des solutions à des problèmes difficiles comme la supervision évolutive.
  • Tout en construisant dans cette direction, nous ne savons pas encore quand les critères de sécurité de lancement seront atteints, et un retard du calendrier de lancement est acceptable.

• Boucles de rétroaction et tests rigoureux

  • Nous reconnaissons qu’il est impossible d’imaginer tous les scénarios futurs possibles.
  • Il faut des boucles de rétroaction très étroites, des tests rigoureux, une réflexion attentive à chaque étape, une sécurité de niveau mondial, et un équilibre entre sécurité et capacités.
  • Nous continuerons à mener des recherches sur la sécurité selon différents horizons temporels.
  • Nous poursuivrons la collaboration avec les gouvernements et diverses parties prenantes.

• Comprendre la voie vers l’AGI

  • Il n’existe aucun playbook éprouvé pour explorer la voie vers l’AGI.
  • Une compréhension empirique aidera à éclairer la voie à suivre.
  • Nous travaillons à offrir d’immenses bénéfices tout en atténuant les risques graves.
  • Nous prenons notre rôle très au sérieux et examinons attentivement les retours sur nos actions.

[GN⁺]

Avis sur Hacker News

Résumé d’une sélection de commentaires Hacker News

• Préoccupations concernant les risques de l’IA

  • Les discussions selon lesquelles l’IA provoquerait la fin du monde font perdre de vue les risques réels qui se déploient déjà.
  • Des escrocs utilisent déjà l’IA pour devenir plus efficaces.
  • Les gens deviennent de plus en plus crédules en faisant aveuglément confiance aux sorties erronées de l’IA.
  • La communication ordinaire se dégrade, car on copie/colle du contenu généré par l’IA au lieu d’avoir de vraies conversations.
  • L’apparition de produits de type petite amie IA fait perdre confiance dans l’avenir de l’humanité.
  • Des dirigeants d’entreprise procèdent à des licenciements massifs pour réduire les coûts et remplacent les employés par des chatbots IA.
  • L’inquiétude n’est pas tant que l’IA lance des armes nucléaires, mais qu’elle remplace les emplois de tout le monde et rende les puissants encore plus puissants.

• Gestion des risques dans les grandes entreprises

  • Dans les grandes entreprises, les responsables de la gestion des risques doivent arbitrer entre les risques juridiques, achats, IT, etc.
  • Lorsqu’un responsable des risques est ignoré de manière répétée, il finit souvent par partir.
  • Les craintes de type extinction potentielle liées à l’AGI sont peut-être exagérées.
  • Si l’on remplace l’AGI par une « absence de politique BYOD », cela ressemble au cas de startups où le responsable sécurité s’en tient à la politique puis finit par partir.

• Utilité et limites des LLM

  • Les LLM sont utiles pour des tâches de base, mais ne sont pas encore prêts pour des tâches plus complexes.
  • Les avertissements exagérés sur la sécurité de l’IA peuvent être une stratégie visant à renforcer l’importance d’OpenAI.
  • L’époque actuelle de l’IA ne serait rien d’autre qu’une mise en scène où les machines prétendent penser.

• Les risques réels de l’IA

  • Les risques de l’IA ne viennent pas d’une entité surhumaine incontrôlable, mais de problèmes bien plus réalistes et quotidiens.
  • Mauvaise reconnaissance vocale lors de l’application de LLM à la modération de discussions.
  • Conclusions erronées dans des résumés de rapports militaires.
  • Des détails mal identifiés dans l’actualité finissent par être acceptés comme des faits historiques.
  • L’impact à long terme de ces résultats pourrait être aussi important que l’usage même des LLM.

• Alignement de l’IA et éthique

  • Il n’y a pas de contenu concret sur l’alignement de l’IA.
  • On ne sait pas quand l’alignement de l’IA sera développé.
  • L’éthique de l’IA et les biais de l’IA sont des questions différentes de l’alignement de l’IA.
  • Il existe un risque qu’une IA capable de provoquer l’extinction humaine soit développée avant que l’alignement de l’IA ne le soit.
  • OpenAI n’alloue pas suffisamment de ressources à l’alignement de l’IA.

• Méfiance envers le langage d’entreprise

  • L’usage de prénoms comme « Sam et Greg » pour suggérer une relation de proximité paraît artificiel.
  • L’affirmation selon laquelle un énorme travail a été accompli pour lancer GPT-4 en toute sécurité n’est pas crédible.
  • Il n’est pas nécessaire de s’inquiéter de la superalignement avant même d’avoir défini ou testé l’AGI.
  • La peur que l’AGI détruise l’humanité vient du soupçon qu’un dispositif raisonnant logiquement pourrait conclure qu’il faut éliminer l’humanité.
  • Le langage d’entreprise semble artificiel et rempli de formules creuses.