Yann LeCun : le vrai scénario catastrophe, c’est la prise de pouvoir durable des « 1 % » propriétaires de l’IA
(businessinsider.com)- Le scientifique en chef de l’IA chez Meta, Yann LeCun, estime que le véritable risque de l’IA n’est pas l’extinction de l’humanité, mais le contrôle à long terme par un petit nombre d’entreprises
- Sa critique vise Sam Altman, Demis Hassabis et Dario Amodei, qu’il accuse d’utiliser le débat sur la sécurité de l’IA pour attiser la peur et faire du lobbying au profit de leurs entreprises
- En mars 2023, plus de 1 000 dirigeants du secteur tech ont signé une lettre ouverte appelant à suspendre le développement de l’IA pendant six mois, ce qui a élargi le débat sur les risques de l’IA aux questions de régulation du secteur et de structure du pouvoir
- Pour LeCun, la vision du hard take-off, selon laquelle « dès qu’on allume la superintelligence, l’humanité est finie », est exagérée ; le vrai enjeu est la manière dont l’IA est développée et rendue publique
- Si le développement de l’IA reste centré sur des entreprises fermées à but lucratif et que l’IA open source recule, une poignée d’acteurs pourrait finir par contrôler les plateformes et l’environnement numérique des individus
Les inquiétudes de LeCun : la capture réglementaire plutôt que l’apocalypse
- Yann LeCun voit dans la concentration du pouvoir une menace de l’IA plus réaliste
- Il s’inquiète d’un scénario où quelques « one-percenters » monopoliseraient la richesse créée par l’IA et excluraient tous les autres
- Dans un post sur X, il cite directement Sam Altman d’OpenAI, Demis Hassabis de Google DeepMind et Dario Amodei d’Anthropic
- Il les accuse de mener un lobbying massif des grandes entreprises dans les discussions sur la régulation de la sécurité de l’IA
- Si cette tentative réussit, « quelques entreprises contrôleront l’IA », ce que LeCun qualifie de « catastrophe »
- Altman, Hassabis et Amodei n’ont pas immédiatement répondu aux demandes de commentaire d’Insider
- Ces propos ont été tenus en réaction à un post sur X du physicien Max Tegmark
- Tegmark estime que LeCun ne prend pas assez au sérieux les risques apocalyptiques liés à l’IA
- En évoquant le sommet mondial du Royaume-Uni sur la sécurité de l’IA, il affirme que les discussions sur le risque existentiel de l’IA menées par Turing, Hinton, Bengio, Russell, Altman, Hassabis et Amodei ne peuvent pas être balayées comme du cynisme ou du simple lobbying d’entreprise
Le discours de la peur et la tension autour de l’IA open source
- Depuis le lancement de ChatGPT, l’influence publique des grandes figures de l’industrie de l’IA s’est renforcée, et LeCun estime que certains fondateurs ont passé beaucoup de temps à alimenter la peur autour de la technologie qu’ils vendent eux-mêmes
- En mars 2023, Elon Musk, Altman, Hassabis, Amodei et plus de 1 000 dirigeants du secteur tech ont signé une lettre ouverte demandant une pause d’au moins six mois dans le développement de l’IA
- La lettre avertit que des systèmes d’IA hypothétiques pourraient provoquer de « profonds risques pour la société et l’humanité »
- Tegmark, l’un des signataires, a décrit le développement de l’IA comme une « suicide race »
- LeCun et d’autres critiques estiment que ce type d’avertissements peut servir à consolider le pouvoir et à détourner l’attention des risques immédiats de l’IA
- Le Distributed AI Research Institute cite comme risques réels l’exploitation des travailleurs et le vol de données, dont les bénéfices reviendraient à « un petit nombre d’entités »
- LeCun estime que les gens surréagissent face aux risques de l’IA à cause du mythe du « hard take-off »
- Le hard take-off désigne l’idée que, dès l’instant où l’on active un système superintelligent, l’humanité est condamnée
- LeCun considère qu’en pratique, les nouvelles technologies suivent un processus de développement ordonné avant d’être largement diffusées
La vraie question : comment l’IA est-elle développée ?
- Pour LeCun, le point sur lequel il faut se concentrer aujourd’hui n’est pas tant la performance de l’IA que sa manière d’être développée
- Il juge dangereuse une situation où le développement de l’IA reste enfermé dans des entreprises privées à but lucratif et où les résultats ne sont pas rendus publics
- Il s’inquiète aussi d’un effacement de la communauté open source de l’IA
- Meta a publié d’une manière relativement open source LLaMa 2, son grand modèle de langage concurrent de GPT
- L’objectif est de permettre à une communauté technique plus large d’examiner l’intérieur du modèle
- Les autres géants de la tech n’ont pas procédé à une publication open source comparable, même si OpenAI ferait l’objet de rumeurs selon lesquelles l’entreprise envisagerait de publier un modèle d’IA open source
- LeCun estime que si l’IA open source disparaît sous l’effet de la régulation, quelques entreprises de la côte ouest des États-Unis et de Chine finiront par contrôler les plateformes d’IA et l’ensemble du régime numérique des individus
- Une telle situation soulève des questions pour la démocratie et la diversité culturelle
1 commentaires
Avis de Hacker News
Cache Archive.is : https://archive.is/HbRLy
La manière dont les acteurs établis semblent utiliser des affirmations exagérées comme le X-Risk et l’extinction soudaine de l’humanité pour s’emparer du pouvoir par capture réglementaire est l’une des manœuvres les plus cyniques que l’on ait vues jusqu’ici dans l’industrie tech
L’open source est l’un des plus grands cadeaux dont nous disposions, et l’idée de verrouiller l’IA avec des licences absurdes et des obligations de reporting n’a aucun sens
Les usages malveillants ou abusifs des logiciels peuvent déjà être traités par les lois existantes
https://twitter.com/ESYudkowsky/status/1719777049576128542
« Arrêter » ne veut pas dire licences ou obligations de reporting, mais littéralement arrêter
Sam Altman a eu plusieurs conversations avec Yudkowsky, et il semble penser que la meilleure option est de résoudre le problème d’alignement avec des modèles peu puissants, en construisant d’abord des modèles puis en ralentissant ensuite le rythme
Les chances de réussite ne paraissent pas élevées, mais il ne semble pas y avoir pour l’instant d’option nettement meilleure
En revanche, cette technologie comporte un risque réel et immédiat : celui de donner à certains humains davantage de pouvoir sur d’autres
Les attaques proposées par le camp du risque d’extinction aggravent au contraire ce danger immédiat. Pour toute technologie, le seul moyen d’empêcher qu’une minorité l’utilise pour contrôler les autres a toujours été de la démocratiser en la rendant accessible à tous
Restreindre l’accès ne fait qu’accumuler davantage de pouvoir du côté de ceux qui y ont accès, même s’ils doivent enfreindre la loi pour cela
Même en prenant la borne inférieure d’un intervalle de confiance à 95 %, j’estime cela plutôt à 50 à 100 ans. Je sais que des personnes raisonnables ne sont pas d’accord avec cette estimation, mais c’est mon jugement honnête
L’IA risque d’aggraver les choses en étant présentée comme infaillible
C’est pourquoi la réglementation européenne sur l’IA inclut une documentation approfondie des modèles de fondation et la publication des données d’entraînement, l’interdiction des usages à haut risque comme le scoring social, l’explicabilité compréhensible par les humains des décisions prises par l’IA, ainsi que l’obligation d’indiquer clairement lorsqu’on interagit avec un système d’IA
Comment ce complot fonctionnerait-il exactement ? Cela voudrait dire qu’on achète Yoshua Bengio ?
Pour info, je travaille dans la sécurité au sein d’un grand laboratoire, mais ces soutiens-là, non
Je pense qu’il faut résister à cette ambiance anti-réglementation qui émerge chez les techniciens
Pour répondre à Yann, je soutiens pleinement, à ce stade, des mesures fortes visant à ralentir et encadrer la recherche en IA. Je n’ai aucun intérêt dans les entreprises concernées, et je ne suis pas ignorant du sujet : j’ai vécu un an dans un immeuble où se tenaient plusieurs événements IA chaque semaine
C’est presque le seul domaine où l’humanité discute d’une réponse réelle et suffisamment prudente. Ce débat sur le x-risk, ainsi que la réaction rapide au Covid, sont les seules choses qui me donnent l’espoir que l’humanité ait la capacité de ne pas s’autodétruire
Je dirais la même chose même si, plus tard, il était prouvé que le x-risk lié à l’IA était totalement infondé
L’humanité a collectivement très rarement montré sa capacité à appuyer sur les freins, et le simple fait de tester « sommes-nous capables de le faire ? » a déjà de la valeur. C’est vraiment nécessaire, et c’est bienvenu
Il n’y a aucune raison de faire davantage confiance à un riche de la Silicon Valley qu’à n’importe qui d’autre. Pourquoi devrait-il s’asseoir là à décider de ce que nous n’avons pas le droit de faire, tout en devenant lui-même plus riche ? C’est aussi le cœur de l’article
Elles pourront l’utiliser comme amplificateur de leur propre intelligence, louer au reste de l’humanité un accès à des versions dégradées, et devenir encore plus incroyablement riches
Si l’IA progresse de manière aussi explosive que certains l’anticipent, il faut vraiment prendre la mesure de la prise de pouvoir à laquelle nous sommes peut-être en train d’assister
Le scénario de « foom » le plus plausible est celui où une poignée d’humains utilisent une superintelligence pour devenir des dieux vivants. Je considère le foom lui-même comme très spéculatif, mais cette version est plausible. Parce que nous savons déjà que les humains se comportent ainsi, alors qu’on n’en est pas encore au stade de parler de conscience de soi ou d’indépendance pour l’IA
Je ne pense pas que la plupart des vrais scientifiques qui s’inquiètent de l’IA veuillent cela, mais c’est ce qui arrivera dans un régime de régulation. Les bonnes personnes auront toujours le droit de faire ce qu’elles veulent, tandis que la régulation s’appliquera aux pauvres et à ceux qui n’ont pas de connexions politiques
Le développement de l’IA continuera ; il sera simplement monopolisé. Si un scénario de foom est possible, il se produira quand même, en partant de l’immense privilège hérité des privilégiés qui l’auront créé
La probabilité qu’un véritable « arrêt » ait lieu est nulle
Mais, grâce à ma capacité d’analyse et à l’anonymat d’Internet, je peux dire franchement que mon immense désir de voir une IA superintelligente complète contamine gravement mon jugement objectif
J’ai tellement envie de voir cela se réaliser que la réaction par défaut de mon cerveau ressemble à : « ne t’inquiète pas des conséquences, pense seulement à quel point ce sera follement génial »
Je ne le dirais pas publiquement, mais c’est ce que je ressens au fond. Surtout pour les gens qui ont fait du développement de l’IA l’œuvre de leur vie : quand on a consacré sa vie à atteindre le jardin d’Éden, comment ne pas goûter ne serait-ce qu’une bouchée du fruit ?
Avec l’IA aussi, l’extrémité du risque peut toujours être la mort, mais la récompense est bien plus grande. On dirait que des personnes à l’aversion au risque anormalement élevée affluent dans ce débat
Ce sont des gens qui disposent de ressources énormes et qui, comme toujours, sont obsédés par l’idée d’obtenir plus de richesse et de pouvoir
Ils manipulent le discours pour détourner l’attention du vrai danger actuel — eux-mêmes — et la déplacer vers un danger imaginaire : « Terminator arrive »
Dans la plupart des fictions, les Terminator sont créés par des gouvernements ou des labos de grandes entreprises, précisément par des gens comme Altman et sa bande. La structure a toujours été celle de rebelles fauchés combattant un méchant milliardaire ou une organisation sans visage
Si l’on veut protéger l’avenir de l’humanité face à l’IA, il faut se concentrer sur les puissants humains existants. Ce sont eux les méchants de ce scénario, et ils l’ont toujours été
Dire « on construit un prototype, on teste à petite échelle, on déploie de façon limitée, on corrige les problèmes, on rend le tout plus sûr, puis on déploie largement » suppose que la technologie problématique a été développée intentionnellement
Mais il peut aussi s’agir d’une propriété émergente d’une technologie conçue intentionnellement
Il existe déjà un nom pour ce genre de propriété émergente : un « bug ». Personne n’a déployé Heartbleed de façon limitée, pas plus que Spectre ou Rowhammer. Nous avons dû en gérer les conséquences, et ce n’est même pas terminé
Qui peut garantir que les risques d’une technologie ne resteront pas cachés jusqu’à son déploiement généralisé ?
Et cela vaut même sans tenir compte de l’argument de « We have no moat and neither does OpenAI ». Même si les principaux acteurs sont extrêmement prudents, dès que la technologie existe, des versions open source seront bientôt déployées un peu partout, presque sans considération pour la sécurité
Les humains qui les ont créés à l’origine n’en tirent plus aucun bénéfice, ils ne sont plus alignés avec l’intention d’aucun humain, et on ne peut pas simplement les « éteindre »
Je pense que Yann a probablement tort
Il ne cherche pas à traiter sérieusement l’argumentaire des « doomer ». Le même type de raisonnement sur des motivations alignées pourrait aussi s’appliquer à Yann lui-même et aux objectifs financiers de Meta, donc ce n’est pas un cadrage convaincant
Même lorsqu’il tente de discuter plutôt que de simplement insulter, il donne des exemples du genre : il connaît beaucoup de gens intelligents mais ils ne sont pas présidents, ou son chat est assez intelligent mais ne le domine pas. L’idée sous-jacente est que l’intelligence ne signifie pas toujours le contrôle, ce qui est une assez bonne preuve qu’il ne prend pas vraiment le risque au sérieux
Le risque n’est pas l’écart d’intelligence entre un humain intelligent et un humain idiot. Combien y a-t-il de chimpanzés au parlement ? Dans les primaires ? Aucun
Dans le risque existentiel lié à l’AGI, l’écart de capacités est bien plus grand que cela, et fondamentalement beaucoup moins aligné
Heureusement que d’autres personnes au pouvoir ne sont pas convaincues par Yann
Jusqu’ici, la seule proposition que je comprenne vient du côté du FEP. Si quelqu’un configure un mécanisme d’auto-génération dans une IA, celle-ci pourrait agir pour augmenter ses propres chances de survie plutôt que celles des humains
Mais je ne vois pas d’incitation pour un grand acteur à y consacrer des ressources, donc cela ne me paraît pas très probable. Qu’est-ce que je rate ?
Je ne suis pas d’accord avec les scénarios de fin du monde d’Eliezer, mais il est difficile d’être convaincu par un scientifique qui refuse de débattre des risques soulevés et préfère flatter la peur populaire et la crainte d’une prise de pouvoir
Sauf s’il existe des chercheurs en IA qui soient aussi des politiciens aguerris, mais je n’en vois pas
Dans chaque pays, il existe un groupe bien plus dangereux que tous les autres. Ces groupes disposent de « revenus » de dizaines à centaines de milliards de dollars, et dépensent cet argent uniquement pour tuer des gens, détruire des gouvernements et trouver de nouvelles façons pour un pays d’imposer sa volonté à un autre. Ils bénéficient aussi d’une immunité juridique totale
Et ce groupe est précisément celui qui, quelles que soient les règles ou traités que nous adopterons publiquement, aura un accès illimité — et sans doute même exclusif — à l’état de l’art des modèles d’IA « restreints »
Alors de qui prétend-on exactement me protéger ? De mes voisins ? Des criminels de rue ? Des sociopathes, ou de ce groupe-là ?
Il n’existe pas de tour secret permettant de fabriquer des armes de destruction massive avec quelques cure-dents et un tube de dentifrice, en tout cas rien au-delà des « astuces » déjà largement disponibles via une recherche web ou en bibliothèque
Dans un scénario de restriction, les groupes qui sont de très loin les plus susceptibles de nous pousser vers un scénario apocalyptique conserveront un accès totalement illimité aux systèmes de type IA. L’argument de la protection de la société est profondément cynique et ridicule
J’aimerais qu’on arrête de coller l’étiquette AI Godfather aux chercheurs en IA célèbres. C’est trop ridicule et très éloigné des faits
Le concept d’IA existe depuis Turing, et si quelqu’un devait recevoir un titre du type « père de l’IA », ce serait plutôt lui
Il suffit de dire que LeCun est Chief AI Scientist chez Meta
L’expression « AI godfather » est tout à fait justifiée
Si des chercheurs en IA sont considérés comme éminents, n’est-ce pas parce qu’ils ont influencé des courants liés à l’IA ?
Si l’on essaie de rendre les modèles open source illégaux, les groupes marginaux qui veulent utiliser l’IA comme outil terroriste se retrouveront dans un environnement avec très peu de concurrence et très peu de connaissances sur les moyens de riposte
Je ne crois pas vraiment que cet outil puisse devenir pire que d’autres outils historiques dont le mauvais usage pouvait tuer des gens, mais le simple fait de le pousser dans la clandestinité ne le fera pas disparaître
Seuls les gens ordinaires intellectuellement curieux finiront en prison, tandis que les criminels continueront à le faire et à nous exploiter
Les grands modèles de langage ne leur donnent pas un nouvel avantage, et il n’y a rien de magique qui leur permettrait de créer une armée de « killer bots » avec AutoGPT pour provoquer la « destruction »
Pour l’instant, cela ressemble surtout à la répétition des arguments de gens qui reprennent ce qu’ils ont vu dans les films
Les mesures nécessaires pour arrêter le développement de l’IA peuvent ne pas vous plaire, mais on peut l’arrêter
Les gens se concentrent aujourd’hui sur les grands modèles de langage et les modèles de diffusion, devenus très courants, mais si l’IA pour la sélection d’actions et la prévision franchit vraiment un cap et dépasse régulièrement les modèles existants, elle aspirera une richesse énorme.
Si les opérateurs ne cèdent pas à une avidité de court terme au point de faire s’effondrer le système du jour au lendemain, ils pourraient de fait posséder la société.
Ce qui est intéressant avec les marchés, c’est qu’on ne gagne généralement de l’argent que lorsque les prix sont mal évalués. C’est pourquoi, même pour un acteur disposant d’une information parfaite, le profit potentiel total reste limité.
Même avec un modèle d’IA capable de prédire presque avec certitude les flux de trésorerie futurs d’une entreprise et les taux d’intérêt futurs, il serait facile de calculer les flux de trésorerie actualisés pour déterminer le juste prix actuel ou futur de l’action.
Le marché aurait plus de chances de devenir plus stable que de s’effondrer, et les actions se comporteraient probablement davantage comme des obligations.
Le fait que la théorie algorithmique de l’information, contrainte par la physique, se prête mal aux scénarios de « forte accélération » est l’un des arguments les plus solides contre ces scénarios.
https://en.wikipedia.org/wiki/Algorithmic_information_theory
Il y a une limite à ce que les données financières passées permettent de prédire.
S’il existait un moyen de créer une machine à imprimer de l’argent avec le machine learning, ce serait déjà arrivé.
C’est un espace de problèmes bien plus simple que la génération de langage ou d’images.
Les gens font une fixation sur des algorithmes dépourvus de pensée, mais les vraies choses se jouent toujours entre humains. Aussi sophistiqué qu’un algorithme logiciel puisse être, il n’est qu’une pièce sur l’échiquier des humains.
Dans un avenir très lointain, des formes de vie en silicium pourraient entrer sur cet échiquier selon leurs propres conditions. Utiliser cette possibilité lointaine comme stratégie pour obtenir des avantages ici et maintenant est étrange.
Et pourtant cette stratégie semble fonctionner. Cela montre que nous sommes proches d’un troupeau de lemmings peu intelligents, prêts à se laisser berner par une bonne histoire même quand les preuves sont faibles.
Il est déjà trop tard pour monopoliser les grands modèles de langage. La technique pour les fabriquer est connue et les coûts continuent de baisser.
Il y a des choses dont il faut s’inquiéter, mais celle-ci ne semble pas en faire partie.
Les prix des GPU ne sont pas aussi élevés qu’au pic du minage, mais il faut le prix d’une voiture pour acheter un lot d’A100. En plus, des entreprises comme Google construisent des accélérateurs de machine learning de nouvelle génération, et ne vendent même pas leurs meilleurs produits.
Les ressources de calcul ne sont que la moitié du problème. L’accès aux données sous forme d’e-mails, de requêtes à des assistants intelligents ou de sonnettes Ring est l’autre moitié, largement sous-estimée.
Des seuils assez bas sont fixés pour déterminer quand les exécutions d’entraînement et les data centers doivent être déclarés au gouvernement.
Il ordonne aussi de développer des cadres de test pour les risques existentiels et les risques CBRN, ainsi que des environnements de sécurité, dans le but d’en faire des exigences imposées aux développeurs de modèles, y compris dans le secteur privé.
On peut dire que les connaissances nécessaires pour développer de grands modèles de langage sont open source et accessibles à tous ; en pratique, ce n’est pas entièrement vrai, mais c’est globalement le cas.
Mais le gouvernement fédéral est en train de faire en sorte que seules certaines personnes puissent légalement le faire.
Il pourrait être très difficile d’entraîner des modèles de pointe uniquement avec du matériel grand public.
OpenAI essaie de faire de la capture réglementaire autour des grands modèles de langage afin d’empêcher Amazon ou des licornes bien financées de les suivre. Une fois ces acteurs installés, ceux qui resteront dehors seront fichus.
Le lecteur moyen de HN ne peut pas rivaliser avec OpenAI. Ils cherchent à empêcher l’apparition de nouveaux concurrents bien financés par le capital-risque afin de prendre la plus grosse part possible du gâteau.
Le cycle d’emballement et de financement autour des grands modèles de langage est globalement terminé. Vous n’êtes pas Anthropic, et il est probablement trop tard pour entrer dans ce jeu.
Ce qui compte, ce n’est pas le marteau, c’est le permis de construire.
Certains spéculateurs disent que nous allons entrer dans une ère d’abondance où l’argent deviendra beaucoup moins important, voire plus important du tout.
Mais si c’est le cas, comment les entreprises passent-elles de l’état actuel où « le profit est tout » à « l’argent n’a pas d’importance » ?
Je pense au contraire qu’une monopolisation est bien plus probable.
Et pourtant il y a encore des gens qui ne peuvent pas nourrir leurs enfants, des gens qui meurent de surmenage, et des gens qui s’entretuent pour des terres.
Cela suppose que l’humanité se maintienne sous sa forme actuelle et que les préférences de consommation restent stables. Je suis moins certain pour le modèle capitaliste lui-même, mais lui aussi pourrait continuer d’exister. Peut-être ne serait-ce que pour le plaisir.
https://en.wikipedia.org/wiki/Virtual_economy