1 points par GN⁺ 2023-11-03 | 1 commentaires | Partager sur WhatsApp
  • Le scientifique en chef de l’IA chez Meta, Yann LeCun, estime que le véritable risque de l’IA n’est pas l’extinction de l’humanité, mais le contrôle à long terme par un petit nombre d’entreprises
  • Sa critique vise Sam Altman, Demis Hassabis et Dario Amodei, qu’il accuse d’utiliser le débat sur la sécurité de l’IA pour attiser la peur et faire du lobbying au profit de leurs entreprises
  • En mars 2023, plus de 1 000 dirigeants du secteur tech ont signé une lettre ouverte appelant à suspendre le développement de l’IA pendant six mois, ce qui a élargi le débat sur les risques de l’IA aux questions de régulation du secteur et de structure du pouvoir
  • Pour LeCun, la vision du hard take-off, selon laquelle « dès qu’on allume la superintelligence, l’humanité est finie », est exagérée ; le vrai enjeu est la manière dont l’IA est développée et rendue publique
  • Si le développement de l’IA reste centré sur des entreprises fermées à but lucratif et que l’IA open source recule, une poignée d’acteurs pourrait finir par contrôler les plateformes et l’environnement numérique des individus

Les inquiétudes de LeCun : la capture réglementaire plutôt que l’apocalypse

  • Yann LeCun voit dans la concentration du pouvoir une menace de l’IA plus réaliste
    • Il s’inquiète d’un scénario où quelques « one-percenters » monopoliseraient la richesse créée par l’IA et excluraient tous les autres
  • Dans un post sur X, il cite directement Sam Altman d’OpenAI, Demis Hassabis de Google DeepMind et Dario Amodei d’Anthropic
    • Il les accuse de mener un lobbying massif des grandes entreprises dans les discussions sur la régulation de la sécurité de l’IA
    • Si cette tentative réussit, « quelques entreprises contrôleront l’IA », ce que LeCun qualifie de « catastrophe »
  • Altman, Hassabis et Amodei n’ont pas immédiatement répondu aux demandes de commentaire d’Insider
  • Ces propos ont été tenus en réaction à un post sur X du physicien Max Tegmark
    • Tegmark estime que LeCun ne prend pas assez au sérieux les risques apocalyptiques liés à l’IA
    • En évoquant le sommet mondial du Royaume-Uni sur la sécurité de l’IA, il affirme que les discussions sur le risque existentiel de l’IA menées par Turing, Hinton, Bengio, Russell, Altman, Hassabis et Amodei ne peuvent pas être balayées comme du cynisme ou du simple lobbying d’entreprise

Le discours de la peur et la tension autour de l’IA open source

  • Depuis le lancement de ChatGPT, l’influence publique des grandes figures de l’industrie de l’IA s’est renforcée, et LeCun estime que certains fondateurs ont passé beaucoup de temps à alimenter la peur autour de la technologie qu’ils vendent eux-mêmes
  • En mars 2023, Elon Musk, Altman, Hassabis, Amodei et plus de 1 000 dirigeants du secteur tech ont signé une lettre ouverte demandant une pause d’au moins six mois dans le développement de l’IA
    • La lettre avertit que des systèmes d’IA hypothétiques pourraient provoquer de « profonds risques pour la société et l’humanité »
    • Tegmark, l’un des signataires, a décrit le développement de l’IA comme une « suicide race »
  • LeCun et d’autres critiques estiment que ce type d’avertissements peut servir à consolider le pouvoir et à détourner l’attention des risques immédiats de l’IA
    • Le Distributed AI Research Institute cite comme risques réels l’exploitation des travailleurs et le vol de données, dont les bénéfices reviendraient à « un petit nombre d’entités »
  • LeCun estime que les gens surréagissent face aux risques de l’IA à cause du mythe du « hard take-off »
    • Le hard take-off désigne l’idée que, dès l’instant où l’on active un système superintelligent, l’humanité est condamnée
    • LeCun considère qu’en pratique, les nouvelles technologies suivent un processus de développement ordonné avant d’être largement diffusées

La vraie question : comment l’IA est-elle développée ?

  • Pour LeCun, le point sur lequel il faut se concentrer aujourd’hui n’est pas tant la performance de l’IA que sa manière d’être développée
    • Il juge dangereuse une situation où le développement de l’IA reste enfermé dans des entreprises privées à but lucratif et où les résultats ne sont pas rendus publics
    • Il s’inquiète aussi d’un effacement de la communauté open source de l’IA
  • Meta a publié d’une manière relativement open source LLaMa 2, son grand modèle de langage concurrent de GPT
  • LeCun estime que si l’IA open source disparaît sous l’effet de la régulation, quelques entreprises de la côte ouest des États-Unis et de Chine finiront par contrôler les plateformes d’IA et l’ensemble du régime numérique des individus
    • Une telle situation soulève des questions pour la démocratie et la diversité culturelle

1 commentaires

 
GN⁺ 2023-11-03
Avis de Hacker News
  • Cache Archive.is : https://archive.is/HbRLy

  • La manière dont les acteurs établis semblent utiliser des affirmations exagérées comme le X-Risk et l’extinction soudaine de l’humanité pour s’emparer du pouvoir par capture réglementaire est l’une des manœuvres les plus cyniques que l’on ait vues jusqu’ici dans l’industrie tech
    L’open source est l’un des plus grands cadeaux dont nous disposions, et l’idée de verrouiller l’IA avec des licences absurdes et des obligations de reporting n’a aucun sens
    Les usages malveillants ou abusifs des logiciels peuvent déjà être traités par les lois existantes

    • Dire « arrêtons » n’est pas de la capture réglementaire. Certaines grandes entreprises d’IA déforment « l’arrêt » en « nous seuls pouvons le faire prudemment », mais la véritable façon d’éviter le risque existentiel est d’arrêter
      https://twitter.com/ESYudkowsky/status/1719777049576128542
      « Arrêter » ne veut pas dire licences ou obligations de reporting, mais littéralement arrêter
    • À quel point peut-on être sûr qu’ils ne croient pas vraiment à l’existence d’un danger ? Ce ne sont que des récits de seconde main, mais il semble que certains échelons inférieurs chez OpenAI estiment aussi que ce risque mérite d’être pris au sérieux, et que ce n’est pas simplement une manœuvre cynique de PDG
      Sam Altman a eu plusieurs conversations avec Yudkowsky, et il semble penser que la meilleure option est de résoudre le problème d’alignement avec des modèles peu puissants, en construisant d’abord des modèles puis en ralentissant ensuite le rythme
      Les chances de réussite ne paraissent pas élevées, mais il ne semble pas y avoir pour l’instant d’option nettement meilleure
    • Je suis à peu près du même avis. L’argument du risque d’extinction paraît assez plausible à long terme, mais ce niveau de problème ne semble pas assez proche pour être imminent
      En revanche, cette technologie comporte un risque réel et immédiat : celui de donner à certains humains davantage de pouvoir sur d’autres
      Les attaques proposées par le camp du risque d’extinction aggravent au contraire ce danger immédiat. Pour toute technologie, le seul moyen d’empêcher qu’une minorité l’utilise pour contrôler les autres a toujours été de la démocratiser en la rendant accessible à tous
      Restreindre l’accès ne fait qu’accumuler davantage de pouvoir du côté de ceux qui y ont accès, même s’ils doivent enfreindre la loi pour cela
      Même en prenant la borne inférieure d’un intervalle de confiance à 95 %, j’estime cela plutôt à 50 à 100 ans. Je sais que des personnes raisonnables ne sont pas d’accord avec cette estimation, mais c’est mon jugement honnête
    • Les lois existantes ne suffisent pas. Sinon, il n’y aurait pas eu de profilage racial automatisé, de reconnaissance faciale à grande échelle, ni de scoring de crédit et social
      L’IA risque d’aggraver les choses en étant présentée comme infaillible
      C’est pourquoi la réglementation européenne sur l’IA inclut une documentation approfondie des modèles de fondation et la publication des données d’entraînement, l’interdiction des usages à haut risque comme le scoring social, l’explicabilité compréhensible par les humains des décisions prises par l’IA, ainsi que l’obligation d’indiquer clairement lorsqu’on interagit avec un système d’IA
    • Aucun des scientifiques de renommée mondiale qui ont cosigné cet article ne travaille dans un grand laboratoire : https://managing-ai-risks.com/
      Comment ce complot fonctionnerait-il exactement ? Cela voudrait dire qu’on achète Yoshua Bengio ?
      Pour info, je travaille dans la sécurité au sein d’un grand laboratoire, mais ces soutiens-là, non
  • Je pense qu’il faut résister à cette ambiance anti-réglementation qui émerge chez les techniciens
    Pour répondre à Yann, je soutiens pleinement, à ce stade, des mesures fortes visant à ralentir et encadrer la recherche en IA. Je n’ai aucun intérêt dans les entreprises concernées, et je ne suis pas ignorant du sujet : j’ai vécu un an dans un immeuble où se tenaient plusieurs événements IA chaque semaine
    C’est presque le seul domaine où l’humanité discute d’une réponse réelle et suffisamment prudente. Ce débat sur le x-risk, ainsi que la réaction rapide au Covid, sont les seules choses qui me donnent l’espoir que l’humanité ait la capacité de ne pas s’autodétruire
    Je dirais la même chose même si, plus tard, il était prouvé que le x-risk lié à l’IA était totalement infondé
    L’humanité a collectivement très rarement montré sa capacité à appuyer sur les freins, et le simple fait de tester « sommes-nous capables de le faire ? » a déjà de la valeur. C’est vraiment nécessaire, et c’est bienvenu

    • Le problème n’est pas de savoir s’il faut être prudent, mais que Sam Altman exploite cyniquement cette prudence pour augmenter la valeur de son entreprise
      Il n’y a aucune raison de faire davantage confiance à un riche de la Silicon Valley qu’à n’importe qui d’autre. Pourquoi devrait-il s’asseoir là à décider de ce que nous n’avons pas le droit de faire, tout en devenant lui-même plus riche ? C’est aussi le cœur de l’article
    • Le résultat le plus probable de ce coup de frein, c’est qu’un petit nombre de personnes extrêmement riches ou puissantes monopolisent l’IA haute performance
      Elles pourront l’utiliser comme amplificateur de leur propre intelligence, louer au reste de l’humanité un accès à des versions dégradées, et devenir encore plus incroyablement riches
      Si l’IA progresse de manière aussi explosive que certains l’anticipent, il faut vraiment prendre la mesure de la prise de pouvoir à laquelle nous sommes peut-être en train d’assister
      Le scénario de « foom » le plus plausible est celui où une poignée d’humains utilisent une superintelligence pour devenir des dieux vivants. Je considère le foom lui-même comme très spéculatif, mais cette version est plausible. Parce que nous savons déjà que les humains se comportent ainsi, alors qu’on n’en est pas encore au stade de parler de conscience de soi ou d’indépendance pour l’IA
      Je ne pense pas que la plupart des vrais scientifiques qui s’inquiètent de l’IA veuillent cela, mais c’est ce qui arrivera dans un régime de régulation. Les bonnes personnes auront toujours le droit de faire ce qu’elles veulent, tandis que la régulation s’appliquera aux pauvres et à ceux qui n’ont pas de connexions politiques
      Le développement de l’IA continuera ; il sera simplement monopolisé. Si un scénario de foom est possible, il se produira quand même, en partant de l’immense privilège hérité des privilégiés qui l’auront créé
      La probabilité qu’un véritable « arrêt » ait lieu est nulle
    • Je reconnais pleinement les risques que présente l’IA, et je pense qu’il est très probable qu’elle ait des conséquences globalement terribles pour l’humanité
      Mais, grâce à ma capacité d’analyse et à l’anonymat d’Internet, je peux dire franchement que mon immense désir de voir une IA superintelligente complète contamine gravement mon jugement objectif
      J’ai tellement envie de voir cela se réaliser que la réaction par défaut de mon cerveau ressemble à : « ne t’inquiète pas des conséquences, pense seulement à quel point ce sera follement génial »
      Je ne le dirais pas publiquement, mais c’est ce que je ressens au fond. Surtout pour les gens qui ont fait du développement de l’IA l’œuvre de leur vie : quand on a consacré sa vie à atteindre le jardin d’Éden, comment ne pas goûter ne serait-ce qu’une bouchée du fruit ?
    • Quand les catastrophistes parlent de risque de mort, c’est un peu comme dire qu’il y a un risque de mourir si l’on s’expose au monde extérieur. Bien sûr qu’il y a un risque, mais le rapport risque/récompense fait qu’il faut quand même sortir
      Avec l’IA aussi, l’extrémité du risque peut toujours être la mort, mais la récompense est bien plus grande. On dirait que des personnes à l’aversion au risque anormalement élevée affluent dans ce débat
    • D’un côté, il y a des « risques » délirants qui semblent sortis de la culture populaire ; de l’autre, il y a la laideur de la nature humaine, révélée d’innombrables fois pendant des millénaires
      Ce sont des gens qui disposent de ressources énormes et qui, comme toujours, sont obsédés par l’idée d’obtenir plus de richesse et de pouvoir
      Ils manipulent le discours pour détourner l’attention du vrai danger actuel — eux-mêmes — et la déplacer vers un danger imaginaire : « Terminator arrive »
      Dans la plupart des fictions, les Terminator sont créés par des gouvernements ou des labos de grandes entreprises, précisément par des gens comme Altman et sa bande. La structure a toujours été celle de rebelles fauchés combattant un méchant milliardaire ou une organisation sans visage
      Si l’on veut protéger l’avenir de l’humanité face à l’IA, il faut se concentrer sur les puissants humains existants. Ce sont eux les méchants de ce scénario, et ils l’ont toujours été
  • Dire « on construit un prototype, on teste à petite échelle, on déploie de façon limitée, on corrige les problèmes, on rend le tout plus sûr, puis on déploie largement » suppose que la technologie problématique a été développée intentionnellement
    Mais il peut aussi s’agir d’une propriété émergente d’une technologie conçue intentionnellement
    Il existe déjà un nom pour ce genre de propriété émergente : un « bug ». Personne n’a déployé Heartbleed de façon limitée, pas plus que Spectre ou Rowhammer. Nous avons dû en gérer les conséquences, et ce n’est même pas terminé
    Qui peut garantir que les risques d’une technologie ne resteront pas cachés jusqu’à son déploiement généralisé ?

    • Cet argument ressemble particulièrement à du vœu pieux. Je ne sais pas ce qu’on a vu dans l’industrie tech ces dix dernières années qui pourrait faire penser qu’elle va désormais adopter une stratégie consistant à « avancer lentement et déployer prudemment »
      Et cela vaut même sans tenir compte de l’argument de « We have no moat and neither does OpenAI ». Même si les principaux acteurs sont extrêmement prudents, dès que la technologie existe, des versions open source seront bientôt déployées un peu partout, presque sans considération pour la sécurité
    • Exact. Des virus vieux de 20 ans continuent déjà aujourd’hui à suivre leurs programmes de manière autonome et à causer des problèmes
      Les humains qui les ont créés à l’origine n’en tirent plus aucun bénéfice, ils ne sont plus alignés avec l’intention d’aucun humain, et on ne peut pas simplement les « éteindre »
  • Je pense que Yann a probablement tort
    Il ne cherche pas à traiter sérieusement l’argumentaire des « doomer ». Le même type de raisonnement sur des motivations alignées pourrait aussi s’appliquer à Yann lui-même et aux objectifs financiers de Meta, donc ce n’est pas un cadrage convaincant
    Même lorsqu’il tente de discuter plutôt que de simplement insulter, il donne des exemples du genre : il connaît beaucoup de gens intelligents mais ils ne sont pas présidents, ou son chat est assez intelligent mais ne le domine pas. L’idée sous-jacente est que l’intelligence ne signifie pas toujours le contrôle, ce qui est une assez bonne preuve qu’il ne prend pas vraiment le risque au sérieux
    Le risque n’est pas l’écart d’intelligence entre un humain intelligent et un humain idiot. Combien y a-t-il de chimpanzés au parlement ? Dans les primaires ? Aucun
    Dans le risque existentiel lié à l’AGI, l’écart de capacités est bien plus grand que cela, et fondamentalement beaucoup moins aligné
    Heureusement que d’autres personnes au pouvoir ne sont pas convaincues par Yann

    • Quel point de vue est convaincant, et que faut-il lire ou regarder pour le comprendre ? J’ai lu pas mal de textes de LessWrong et vu des conférences d’Eliezer, mais j’ai toujours du mal à comprendre les fondements de l’argument, et même les parties que je comprends me semblent très floues
      Jusqu’ici, la seule proposition que je comprenne vient du côté du FEP. Si quelqu’un configure un mécanisme d’auto-génération dans une IA, celle-ci pourrait agir pour augmenter ses propres chances de survie plutôt que celles des humains
      Mais je ne vois pas d’incitation pour un grand acteur à y consacrer des ressources, donc cela ne me paraît pas très probable. Qu’est-ce que je rate ?
    • Il n’existe toujours pas de scénario clair, pratique et rationnel dans lequel l’IA ferait disparaître l’humanité. Et qu’on ne vienne pas me parler d’une IA qui s’empare des codes de lancement et tire au hasard
    • Je pense exactement la même chose
      Je ne suis pas d’accord avec les scénarios de fin du monde d’Eliezer, mais il est difficile d’être convaincu par un scientifique qui refuse de débattre des risques soulevés et préfère flatter la peur populaire et la crainte d’une prise de pouvoir
    • Les personnes les mieux placées pour comprendre l’impact de l’AGI sur les dynamiques de pouvoir social seront probablement des animaux politiques, pas des chercheurs en IA
      Sauf s’il existe des chercheurs en IA qui soient aussi des politiciens aguerris, mais je n’en vois pas
    • L’argumentaire des « doomer » peut être assez facilement écarté à partir d’une seule considération logique
      Dans chaque pays, il existe un groupe bien plus dangereux que tous les autres. Ces groupes disposent de « revenus » de dizaines à centaines de milliards de dollars, et dépensent cet argent uniquement pour tuer des gens, détruire des gouvernements et trouver de nouvelles façons pour un pays d’imposer sa volonté à un autre. Ils bénéficient aussi d’une immunité juridique totale
      Et ce groupe est précisément celui qui, quelles que soient les règles ou traités que nous adopterons publiquement, aura un accès illimité — et sans doute même exclusif — à l’état de l’art des modèles d’IA « restreints »
      Alors de qui prétend-on exactement me protéger ? De mes voisins ? Des criminels de rue ? Des sociopathes, ou de ce groupe-là ?
      Il n’existe pas de tour secret permettant de fabriquer des armes de destruction massive avec quelques cure-dents et un tube de dentifrice, en tout cas rien au-delà des « astuces » déjà largement disponibles via une recherche web ou en bibliothèque
      Dans un scénario de restriction, les groupes qui sont de très loin les plus susceptibles de nous pousser vers un scénario apocalyptique conserveront un accès totalement illimité aux systèmes de type IA. L’argument de la protection de la société est profondément cynique et ridicule
  • J’aimerais qu’on arrête de coller l’étiquette AI Godfather aux chercheurs en IA célèbres. C’est trop ridicule et très éloigné des faits
    Le concept d’IA existe depuis Turing, et si quelqu’un devait recevoir un titre du type « père de l’IA », ce serait plutôt lui
    Il suffit de dire que LeCun est Chief AI Scientist chez Meta

    • LeCun n’est pas appelé AI godfather à cause de son poste chez Meta, mais parce qu’il a été pionnier, en 1989, dans la recherche sur les réseaux neuronaux convolutifs
    • LeCun est l’auteur principal de l’article de 1989 « Backpropagation Applied to Handwritten Zip Code Recognition », qui constitue l’un des tout premiers cas d’application réelle d’un réseau neuronal entraîné de bout en bout par rétropropagation
      L’expression « AI godfather » est tout à fait justifiée
    • Cette expression désigne généralement les trois personnes qui ont reçu le Turing Award en 2018 : Geoffrey Hinton, Yoshua Bengio et Yann LeCun
    • Les travaux de LeCun sur les réseaux neuronaux convolutifs ont contribué à l’IA moderne, donc le surnom est assez approprié. C’est pour cela que Facebook a voulu le recruter
    • Selon le dictionnaire, godfather désigne un « homme influent ou pionnier dans un mouvement ou une organisation »
      Si des chercheurs en IA sont considérés comme éminents, n’est-ce pas parce qu’ils ont influencé des courants liés à l’IA ?
  • Si l’on essaie de rendre les modèles open source illégaux, les groupes marginaux qui veulent utiliser l’IA comme outil terroriste se retrouveront dans un environnement avec très peu de concurrence et très peu de connaissances sur les moyens de riposte
    Je ne crois pas vraiment que cet outil puisse devenir pire que d’autres outils historiques dont le mauvais usage pouvait tuer des gens, mais le simple fait de le pousser dans la clandestinité ne le fera pas disparaître
    Seuls les gens ordinaires intellectuellement curieux finiront en prison, tandis que les criminels continueront à le faire et à nous exploiter

    • Dire que des terroristes provoqueraient des destructions avec l’IA relève du pur geste vague. Les terroristes peuvent déjà obtenir énormément d’informations sur le web
      Les grands modèles de langage ne leur donnent pas un nouvel avantage, et il n’y a rien de magique qui leur permettrait de créer une armée de « killer bots » avec AutoGPT pour provoquer la « destruction »
      Pour l’instant, cela ressemble surtout à la répétition des arguments de gens qui reprennent ce qu’ils ont vu dans les films
    • Les matières fissiles sont strictement contrôlées et réglementées, avec un succès assez notable
      Les mesures nécessaires pour arrêter le développement de l’IA peuvent ne pas vous plaire, mais on peut l’arrêter
  • Les gens se concentrent aujourd’hui sur les grands modèles de langage et les modèles de diffusion, devenus très courants, mais si l’IA pour la sélection d’actions et la prévision franchit vraiment un cap et dépasse régulièrement les modèles existants, elle aspirera une richesse énorme.
    Si les opérateurs ne cèdent pas à une avidité de court terme au point de faire s’effondrer le système du jour au lendemain, ils pourraient de fait posséder la société.

    • C’est discutable, mais on peut considérer que cela s’est déjà produit au moins deux fois par le passé. Une fois lors de la découverte du modèle de Black-Scholes, et une autre quand le trading haute fréquence et, en pratique, la possibilité de devancer les ordres sont devenus possibles.
      Ce qui est intéressant avec les marchés, c’est qu’on ne gagne généralement de l’argent que lorsque les prix sont mal évalués. C’est pourquoi, même pour un acteur disposant d’une information parfaite, le profit potentiel total reste limité.
      Même avec un modèle d’IA capable de prédire presque avec certitude les flux de trésorerie futurs d’une entreprise et les taux d’intérêt futurs, il serait facile de calculer les flux de trésorerie actualisés pour déterminer le juste prix actuel ou futur de l’action.
      Le marché aurait plus de chances de devenir plus stable que de s’effondrer, et les actions se comporteraient probablement davantage comme des obligations.
    • La prévision a des limites fondamentales. Définir ces limites fait partie du cœur de la théorie algorithmique de l’information, et elles constituent aussi des bornes qui s’appliquent à l’amélioration de l’IA.
      Le fait que la théorie algorithmique de l’information, contrainte par la physique, se prête mal aux scénarios de « forte accélération » est l’un des arguments les plus solides contre ces scénarios.
      https://en.wikipedia.org/wiki/Algorithmic_information_theory
    • Je n’arrive pas vraiment à suivre ce raisonnement. Un tel système pourrait certes aspirer la richesse liée au trading, mais n’est-ce pas minuscule par rapport à la valeur des participations attribuée aux propriétaires d’entreprises et à la richesse qu’ils créent ?
    • Je pense qu’on connaissait déjà les limites des modèles de machine learning dans le monde financier.
      Il y a une limite à ce que les données financières passées permettent de prédire.
      S’il existait un moyen de créer une machine à imprimer de l’argent avec le machine learning, ce serait déjà arrivé.
      C’est un espace de problèmes bien plus simple que la génération de langage ou d’images.
    • BlackRock « possède » déjà la société.
      Les gens font une fixation sur des algorithmes dépourvus de pensée, mais les vraies choses se jouent toujours entre humains. Aussi sophistiqué qu’un algorithme logiciel puisse être, il n’est qu’une pièce sur l’échiquier des humains.
      Dans un avenir très lointain, des formes de vie en silicium pourraient entrer sur cet échiquier selon leurs propres conditions. Utiliser cette possibilité lointaine comme stratégie pour obtenir des avantages ici et maintenant est étrange.
      Et pourtant cette stratégie semble fonctionner. Cela montre que nous sommes proches d’un troupeau de lemmings peu intelligents, prêts à se laisser berner par une bonne histoire même quand les preuves sont faibles.
  • Il est déjà trop tard pour monopoliser les grands modèles de langage. La technique pour les fabriquer est connue et les coûts continuent de baisser.
    Il y a des choses dont il faut s’inquiéter, mais celle-ci ne semble pas en faire partie.

    • Il y a deux aspects.
      Les prix des GPU ne sont pas aussi élevés qu’au pic du minage, mais il faut le prix d’une voiture pour acheter un lot d’A100. En plus, des entreprises comme Google construisent des accélérateurs de machine learning de nouvelle génération, et ne vendent même pas leurs meilleurs produits.
      Les ressources de calcul ne sont que la moitié du problème. L’accès aux données sous forme d’e-mails, de requêtes à des assistants intelligents ou de sonnettes Ring est l’autre moitié, largement sous-estimée.
    • C’est vrai. Le travail de fond visant à restreindre la légalité de l’entraînement des grands modèles est déjà en place. Il suffit de regarder le récent décret présidentiel.
      Des seuils assez bas sont fixés pour déterminer quand les exécutions d’entraînement et les data centers doivent être déclarés au gouvernement.
      Il ordonne aussi de développer des cadres de test pour les risques existentiels et les risques CBRN, ainsi que des environnements de sécurité, dans le but d’en faire des exigences imposées aux développeurs de modèles, y compris dans le secteur privé.
      On peut dire que les connaissances nécessaires pour développer de grands modèles de langage sont open source et accessibles à tous ; en pratique, ce n’est pas entièrement vrai, mais c’est globalement le cas.
      Mais le gouvernement fédéral est en train de faire en sorte que seules certaines personnes puissent légalement le faire.
    • L’entraînement reste très coûteux. Même s’il devient moins cher, les modèles de nouvelle génération plus performants redeviendront coûteux.
      Il pourrait être très difficile d’entraîner des modèles de pointe uniquement avec du matériel grand public.
    • Je ne suis pas sûr que les personnes hors des institutions puissent rattraper leur retard.
      OpenAI essaie de faire de la capture réglementaire autour des grands modèles de langage afin d’empêcher Amazon ou des licornes bien financées de les suivre. Une fois ces acteurs installés, ceux qui resteront dehors seront fichus.
      Le lecteur moyen de HN ne peut pas rivaliser avec OpenAI. Ils cherchent à empêcher l’apparition de nouveaux concurrents bien financés par le capital-risque afin de prendre la plus grosse part possible du gâteau.
      Le cycle d’emballement et de financement autour des grands modèles de langage est globalement terminé. Vous n’êtes pas Anthropic, et il est probablement trop tard pour entrer dans ce jeu.
    • Dans ce problème, le coût de la technologie n’a pas d’importance.
      Ce qui compte, ce n’est pas le marteau, c’est le permis de construire.
  • Certains spéculateurs disent que nous allons entrer dans une ère d’abondance où l’argent deviendra beaucoup moins important, voire plus important du tout.
    Mais si c’est le cas, comment les entreprises passent-elles de l’état actuel où « le profit est tout » à « l’argent n’a pas d’importance » ?
    Je pense au contraire qu’une monopolisation est bien plus probable.

    • Une abondance pour qui ? Avec les seuls moyens de production actuels, toute notre espèce pourrait déjà vivre confortablement en profitant de choses dont le dernier empereur romain n’aurait même pas rêvé.
      Et pourtant il y a encore des gens qui ne peuvent pas nourrir leurs enfants, des gens qui meurent de surmenage, et des gens qui s’entretuent pour des terres.
    • Nous sommes depuis longtemps dans un état d’abondance. Nous avons simplement choisi de ne pas distribuer cette abondance.
    • En voyant les marchés robustes de biens virtuels et les importantes économies virtuelles dans des endroits comme Roblox ou Second Life, je pense que, quelle que soit la distance à laquelle nous allons au-delà de la rareté, les marchés peuvent toujours exister, et existeront effectivement.
      Cela suppose que l’humanité se maintienne sous sa forme actuelle et que les préférences de consommation restent stables. Je suis moins certain pour le modèle capitaliste lui-même, mais lui aussi pourrait continuer d’exister. Peut-être ne serait-ce que pour le plaisir.
      https://en.wikipedia.org/wiki/Virtual_economy
    • Il y a la faillite, la régulation, le démantèlement des trusts et le sabotage.