- Le chercheur et auteur Internet anonyme Gwern Branwen est présenté comme quelqu’un qui a très tôt pris au sérieux la dynamique de scaling des LLM, à une époque où de nombreux commentateurs de l’IA, autour de 2020, étaient passés à côté
- Il considère que l’anonymat, au-delà de l’évitement des représailles, permet d’éviter que les lecteurs enferment l’auteur dans une identité précise ou une niche et l’écartent d’emblée, créant ainsi une chance d’être lu avant tout
- Il estime que l’automatisation en entreprise subira davantage une pression bottom-up, remontant depuis les tâches subalternes, plutôt qu’un mouvement descendant depuis le CEO, et qu’une structure où des dirigeants humains prennent les décisions de long terme pour des organisations d’IA est plus réaliste
- Gwern voit l’intelligence comme une exploration de machines de Turing et met en avant la puissance du compute, des données et du trial and error à travers GPT-1, GPT-2, GPT-3, l’article de Baidu de 2017 sur les scaling laws, AlphaZero et BigGAN
- Si l’on part de l’hypothèse que l’AGI arrive dans quelques années, il devient plus important que de terminer soi-même chaque projet de consigner ce que l’IA ne peut pas décider à sa place — préférences, désirs, évaluations, jugements — afin de laisser une matière exploitable pour l’exécution future
Anonymat, avatar et organisations automatisées
- L’entretien a été filmé en présentiel, mais un avatar a été utilisé pour protéger l’anonymat de Gwern
- Le visage et la voix dans la vidéo ne sont pas les siens ; seules les paroles sont de Gwern
- Un avantage sous-estimé de l’anonymat est qu’il rend plus difficile pour le lecteur de ranger l’auteur dans une identité précise ou une niche et de l’ignorer à l’avance
- Cela permet aussi d’éviter les représailles, mais Gwern y voit surtout le bénéfice de ne pas être immédiatement écarté à cause du contexte et d’avoir au moins une chance d’être lu
- Il considère également comme un avantage le fait d’avoir évité qu’on lui fasse livrer de l’héroïne à domicile ou qu’on lui envoie le SWAT
- Il estime que l’automatisation des entreprises sera davantage poussée par une pression bottom-up remontant depuis les travailleurs et les tâches subalternes que par un remplacement top-down commençant par le CEO
- Dans les organisations existantes, il est plus facile de faire accepter le remplacement des postes du bas avant de remonter progressivement
- À terme, il imagine une forme où des dirigeants humains supervisent des entreprises composées d’IA
- Du point de vue du reinforcement learning, les humains pourraient conserver un avantage sur l’IA en matière de vision à long terme, de nouvelles stratégies de long terme et de détection d’opportunités
- Un schéma serait possible où le CEO humain définit la vision, l’organisation d’IA formule des propositions et assure l’exécution, puis le CEO humain choisit parmi elles
- Selon lui, ce type d’entreprise dirigée par l’humain pourrait faire de meilleurs choix à long terme qu’une entreprise entièrement composée d’IA
- Gwern estime que, dans son propre travail, le rôle humain qui subsistera jusqu’au bout ressemblera aussi à une sélection à la Steve Jobs
- Il imagine des minions IA lui apportant des essais, et lui se contentant de choisir lequel est le meilleur et dans quelle direction pousser davantage
Organisations d’IA et unité de sélection
- Dans une entreprise composée d’IA, l’unité de sélection pourrait être plus large que le modèle individuel, sous la forme d’un « paquet d’esprits » ou d’un département entier
- Si l’on peut répliquer parfaitement chaque modèle individuel, l’unité de sélection se déplace vers un niveau supérieur
- Chaque mind peut être entraîné de manière différentiable, mais les interactions entre minds sont difficiles à entraîner directement
- Il peut exister des groupes de modèles qui fonctionnent bien ensemble globalement sans qu’on puisse les réduire à un élément d’interaction précis
- L’exemple donné est une unité de département incluant par exemple un profil de programmeur, de manager, de secrétaire, de financier ou de juriste
- Quand une nouvelle unité est nécessaire, une évolution est possible en copiant un package de base, en appliquant des variations aléatoires à chaque composant, puis en conservant les packages les plus performants
Généalogie de la Singularity et théorie de l’intelligence
- À la question de savoir depuis quand il était possible de prévoir la Singularity, Gwern estime qu’il faut remonter au moins à Erewhon de Samuel Butler en 1872, voire à son essai de 1863, « Darwin among the Machines »
- Butler y exposait explicitement, dès 1863, la vision d’une vie mécanique progressant peu à peu vers l’autonomie et finissant par menacer l’humanité
- Butler concluait au sujet des machines que « war to the death should be instantly proclaimed against them »
- Gwern dit ne pas être certain de l’existence d’un scénario de Singularity plus net encore avant 1863
- Isaac Newton expliquait, selon lui, les inventions et les progrès de son époque non par une véritable accélération technologique, mais par le fait que les civilisations sont détruites tous les quelques milliers d’années puis redécouvrent les savoirs du passé
- Dwarkesh y voit non pas un paradoxe de Fermi appliqué à des civilisations extraterrestres dans l’espace, mais une sorte de paradoxe de Fermi entre civilisations séparées dans le temps
- Gwern ajoute que Lucrèce tenait un raisonnement similaire il y a environ 1 700 ans, en observant les innovations et le savoir de Rome
- La théorie de l’intelligence de Gwern est celle d’une « exploration des machines de Turing »
- Tout ce qui arrive peut être décrit par des machines de Turing de longueurs variées
- L’apprentissage ou le scaling consiste à explorer davantage de machines de Turing, plus longues, puis à les appliquer à des cas particuliers
- Il n’existe ni master algorithm générale ni substance spéciale de l’intelligence ; il s’agit selon lui d’apprendre un très grand nombre de cas particuliers et de les encoder dans le cerveau
- Il interprète aussi les différences d’intelligence humaine comme des écarts de compute permettant d’explorer plus de machines de Turing, et plus longtemps
- Il affirme qu’il n’existe probablement pas dans le cerveau de zone du type « glande du QI » chargée de la fluid intelligence
- Le cerveau apprend une multitude de problèmes particuliers, qui se recombinent ensuite et donnent l’apparence d’une fluid intelligence
- Un grand modèle de réseau neuronal peut être vu comme un gigantesque ensemble de small models spécialisés dans de nombreux petits problèmes
- Si l’intelligence générale au niveau humain a mis si longtemps à évoluer, c’est que, pour beaucoup d’êtres vivants, des mécanismes adaptés à des problèmes précis peuvent être plus avantageux qu’une intelligence general-purpose
- Avec une évolution suffisante, les petites machines de Turing peuvent être encodées plus directement par les gènes
- Dans une niche statique, une niche où l’intelligence coûte très cher, ou chez des organismes à courte durée de vie qui manquent de temps pour apprendre, des mécanismes spécialisés peuvent être préférables à l’apprentissage de type humain
Comment Gwern en est venu tôt à adhérer au scaling
- La vision du scaling chez Gwern remonte à ses lectures de Moravec et Ray Kurzweil au milieu des années 2000
- Selon lui, tous deux défendaient une thèse connexionniste selon laquelle, avec suffisamment de compute, on pourrait découvrir une neural network architecture adaptée au cerveau humain
- À l’époque, Gwern voyait cela comme une forme de « magical thinking » et restait sceptique, estimant que les algorithmes étaient complexes et exigeaient une intuition profonde ou des mathématiques difficiles
- En s’intéressant à LessWrong, au transhumanisme et au risque IA, il a suivi les écrits de Shane Legg et pris connaissance de ses prévisions
- D’après Gwern, Legg prévoyait que si la loi de Moore se poursuivait, on verrait vers 2019 le premier système généraliste, vers 2025 des agents de type humain dotés de capacités généralistes, puis vers 2030 l’AGI
- Après DanNet et AlexNet, Gwern a vu des exemples de réussite impressionnants du connexionnisme
- Il a alors commencé à se demander s’il s’agissait de succès isolés ou de la confirmation de la trajectoire esquissée par Kurzweil, Moravec et Legg, selon laquelle l’arrivée des GPU ferait émerger de meilleurs algorithmes
- En continuant à lire la littérature sur le deep learning, il a constaté l’augmentation de la taille des datasets, des modèles et de l’usage des GPU, ainsi que l’extension des applications des neural networks de cas d’usage étroits à des domaines de plus en plus larges
- En voyant sur arXiv des CNN appliqués chaque jour à de nouveaux problèmes, il s’est rapproché de l’idée que « l’intelligence pourrait être le résultat de l’application de beaucoup de compute, de data et de paramètres »
- La famille GPT a été un tournant important dans son jugement
- Le sentiment neuron non supervisé de GPT-1 l’a surpris par sa capacité à apprendre par lui-même
- Le prompting et la summarization de GPT-2 lui ont donné très fortement l’impression de vivre dans un monde du scaling
- Il a vu GPT-3 comme un scale-up massif de GPT-2 et, contrairement à une tâche étroite comme Go, comme un test crucial pour évaluer la validité du scaling
- En voyant le graphique sur le few-shot learning au début du paper GPT-3, il a conclu que « we are living in the scaling world »
- Selon lui, si de nombreux commentateurs IA ont manqué les LLM, GPT-3 et les scaling laws vers 2020, c’est pour deux raisons
- Ils n’avaient pas suffisamment suivi les résultats précédents sur le scaling et n’ont pas su évaluer rétrospectivement l’importance des résultats clés
- Ils partageaient la croyance que les algorithmes comptaient plus que le compute
- Gwern considère au contraire que le compute vient d’abord, car il rend possibles le trial and error et la serendipity
- De petites différences d’hyperparameters ou de choix d’architecture peuvent fortement modifier les résultats, mais si l’on ne peut faire que quelques essais, on risque facilement de conclure que cela ne marche pas et d’abandonner
- Avec beaucoup de compute, on peut continuer à essayer jusqu’à trouver une solution qui fonctionne bien, puis la transformer en robust solution par simplification, amélioration et compréhension de ses causes
- Il estime que l’ancienne littérature sur le deep learning contenait déjà des idées modernes, mais que le manque de compute les rendait difficiles à utiliser en pratique
- Il explique que ResNet avait été publié dès 1988 et fonctionnait, mais à une échelle trop faible pour être réellement utile, avant d’être oublié puis de réapparaître en 2015 comme une révolution du deep learning
- Il considère aussi le cas de BigGAN, passé à l’échelle jusqu’à 300 million images, comme un résultat que les gens n’ont pas suffisamment regardé
Projets et écriture à l’ère de l’AGI
- Entre 2005 et 2010, le calendrier AGI de Gwern semblait encore très lointain, comme après 2050
- Après AlexNet et DanNet, il dit que ce calendrier se raccourcissait au rythme de deux ans par an
- Il estime que le deep learning a continué à franchir les obstacles, alors que les paradigmes alternatifs ont peu réussi, tandis que celui-ci a très bien fonctionné
- Après AlphaGo, il pense que certaines personnes ont trop révisé leurs attentes à la hausse face au hype autour de l’IA
- Lorsque les grandes tentatives de reinforcement learning après Dota n’ont pas bien fonctionné sur des problèmes difficiles en dehors d’univers de jeux simulés, Gwern a lui aussi pensé qu’il s’était emballé trop tôt
- Il a effacé ce jugement après l’arrivée de GPT et considère que le RL sera la cerise sur le gâteau des generative models
- Si l’on prend au sérieux l’idée que l’AGI pourrait arriver dans quelques années, il n’est pas nécessaire de mettre en œuvre soi-même tous les projets
- Il fait dès maintenant les choses qu’il veut faire ou qu’il aime, même si l’IA pourra peut-être les faire dans trois ans
- Pour certains projets, il suffit de clarifier ce qu’on veut, pourquoi c’est bien et comment le faire, puis de laisser une AGI meilleure l’exécuter
- Gwern voit comme prioritaire de mieux consigner à l’avenir ses preferences, desires, evaluations, judgments
- Une IA « ne peut pas manger une glace à votre place » ni décider à votre place quelle glace vous aimez
- Il applique trois critères pour juger d’un travail
- est-ce une activité qu’il fait parce qu’il l’apprécie, indépendamment de la future IA
- est-ce quelque chose où seul le volet humain doit être fait maintenant, tandis que l’AGI pourra faire le reste plus tard
- est-ce le fait d’écrire aujourd’hui ce qui ne serait sinon pas enregistré, afin d’aider une future version IA de lui-même
- Il cherche en principe à ne pas faire ce qui n’entre dans aucune de ces trois catégories
- Sur le moment où l’IA pourra écrire un essai de qualité Gwern, il dit avoir des idées qui rendraient cela possible sans AGI, à condition de combiner l’ensemble du corpus
- Beaucoup d’idées d’essais potentielles seraient déjà presque entièrement contenues dans le corpus, et les en extraire ne nécessiterait peut-être pas de super intelligence
- Comme point de départ pour un calendrier AGI général, il dit que l’échéance 2028 d’Anthropic semble crédible
- Il voit l’écriture comme un acte qui influence le Shoggoth du futur
- Les tokens que les LLM doivent prédire sont l’une des rares currency que l’IA perçoit, et écrire revient presque à voter pour le futur
- Les valeurs, goûts et désirs qui ne sont pas exprimés dans le texte en ligne n’existent pratiquement pas pour l’IA
- Dans l’esprit de « If it wasn’t written down, it wasn’t written down », des informations autobiographiques non consignées ou des émotions propres à un moment donné sont difficiles à reconstituer plus tard à partir de simples traces
Rabbit holes, surdité, Wikipedia
- Gwern dit que ce qu’il cherche à maximiser dans la vie, ce sont les rabbit holes
- Ce qu’il attend le plus, c’est de se plonger profondément dans de nouvelles idées ou de nouveaux domaines qu’il ne connaissait pas du tout
- Il raconte que, à partir du cas de chats qui ne réagissent pas à la cataire, il a fini par enquêter sur les raisons pour lesquelles certains chats y sont immunisés, ainsi que sur des substituts à la cataire
- Il estime qu’il ne peut explorer en profondeur que 2 ou 3 rabbit holes à la fois au maximum
- Au-delà, il ne s’agit plus d’un véritable effort d’exploration, mais plutôt d’un intérêt passager
- Un rabbit hole doit avoir un caractère obsessionnel ; si l’attraction ne persiste pas, ce n’est pas un vrai rabbit hole
- Le rabbit hole dans lequel il est resté le plus longtemps sans que cela débouche de manière satisfaisante concerne ses premiers travaux sur Neon Genesis Evangelion
- Il a lu presque tout ce qui existait en anglais et a essayé de comprendre le processus de création et les raisons pour lesquelles l’œuvre était devenue ce qu’elle est, mais à l’époque il n’a pas obtenu de réponse claire et s’est épuisé
- Il dit avoir fini par comprendre des années plus tard, par hasard, mais sans conserver assez d’intérêt pour réécrire ou achever ce travail
- Gwern souffre de surdité de naissance et, avant la maternelle, il a fréquenté une école spécialisée pour enfants sourds et autres enfants en situation de handicap
- À l’école, il devait apporter à chaque cours un appareil auditif relié à l’enseignant et une grosse boîte marron, et il éprouvait un sentiment d’humiliation à se sentir différent des autres enfants
- Les appareils auditifs de l’époque n’étaient pas très performants, si bien qu’il avait toujours un temps de retard pour comprendre les conversations, ce qui a fortement nui à sa socialisation
- Il considère que la lecture, activité qu’il pouvait pratiquer sans subir les effets de sa surdité, a contribué à faire de lui un rat de bibliothèque
- Avant de lancer son blog, il contribuait à Wikipedia
- Selon lui, Wikipedia jouait pour lui le rôle que gwern.net a joué ensuite, et ce qu’il fait aujourd’hui sur son propre site, il l’aurait fait à l’époque sur l’English Wikipedia
- Il reste particulièrement fier de l’article sur Fujiwara no Teika
- Il dit avoir appris bien plus sur l’écriture en éditant Wikipedia qu’à l’école ou à l’université
- Il estime qu’aujourd’hui, sur l’English Wikipedia, il est plus difficile qu’autrefois de se former à partir de rabbit holes
- Les articles sont bien plus remplis qu’en 2004, et il juge la communauté éditoriale plus hostile aux contributions de recherche détaillées et obsessionnelles
- Ce type de contribution peut être supprimé ou rejeté pour cause d’original research ou de sources non approuvées
- Son premier grand succès a été son article sur Silk Road
- Quand Adrian Chen a publié sur Gawker un article racontant l’achat de LSD sur Silk Road, il a changé d’attitude en voyant que Bitcoin était devenu assez concret pour permettre d’acheter réellement de la drogue sur Internet
- Gwern a utilisé Silk Road lui-même et a documenté le processus de commande avec des captures d’écran
- Il raconte que l’article a cumulé des centaines de milliers de vues après sa publication, au point d’apparaître comme un pic vertical dans les graphiques de Google Analytics
Manière de travailler, motivation d’écriture, design du site
- Gwern estime que les gens surestiment sa propre intelligence
- Il dit qu’à force de retenir beaucoup de choses et d’avoir énormément écrit pendant longtemps, il donne l’impression d’être capable de tout produire sur le moment
- En conversation réelle, il lui arrive souvent de citer des choses qu’il a déjà écrites ou mûries depuis longtemps
- Comparé à ceux qui mettent à jour rapidement leurs idées en temps réel, il ne se considère pas particulièrement intelligent ; au final, ce qui compte selon lui, c’est le résultat produit
- Son processus de travail ressemble moins à un coup de génie qu’à une accumulation de petites notes sur une longue période
- Des notes comme « c’est étrange » ou « c’est encore un exemple de ce motif » s’accumulent sur dix ans, et le résultat peut alors sembler magique
- Il dit aimer la formule de Penn & Teller selon laquelle « la magie, c’est fournir plus d’efforts qu’une personne rationnelle ne s’y attend »
- Un essai comme « Evolution as Backstop for RL » est une synthèse née du fait d’avoir vu le même motif se répéter
- Au centre se trouve une structure où l’on apprend quelque chose de plus intelligent à l’aide d’une méthode stupide et inefficace, sans jamais pouvoir éliminer complètement la méthode d’origine
- Des exemples comme les entreprises, le meta reinforcement learning, les neural networks et la douleur se relient pour former la structure actuelle
- Certains essais naissent d’un moment d’eureka, mais ils sont précédés de nombreuses notes conservées longtemps sans qu’il sache qu’elles sont liées entre elles
- Lorsqu’un jour il réalise soudain qu’elles se connectent toutes, il écrit d’un seul jet un essai massif
- « The Melancholy of Subculture Society » est un exemple de ce type d’essai né d’une illumination soudaine
- Son flux de travail quotidien commence par la mise en ordre du travail effectué la veille sur son site web
- Il corrige le formatting, les spelling errors et les problèmes de mise en page, et ajoute des réflexions complémentaires ou des commentaires importants
- Ensuite, il lit beaucoup via Twitter ou des RSS feed, puis écrit quand son attention est attirée par des commentaires ou des questions
- Le soir, il essaie de travailler sur de vrais projets ou des contributions, puis va à la gym
- S’il va à la gym, c’est parce que c’est l’activité la plus opposée possible au fait de rester assis devant un ordinateur à lire
- Ce n’est pas qu’il aime particulièrement le weightlifting, mais il estime que pour éviter le burnout, il faut faire des choses aussi différentes que possible
- Les polémiques en ligne constituent pour Gwern une forte motivation d’écriture
- Pour écrire et cristalliser sa pensée, afin de la « récolter », il lui faut une motivation
- La colère née du fait que des gens se trompent en ligne et l’élan de la controverse sont des moteurs abondants
- Mais il considère que la spite ne doit être utilisée que tant qu’elle est nécessaire, puis abandonnée ; s’y accrocher en permanence revient à s’empoisonner soi-même
- Il dit qu’il ne peut pas totalement justifier, du point de vue de l’utilité sociale, le temps qu’il consacre au CSS et au design de son site
- C’est un hobby qu’il pratique parce qu’il aime ça, et un beau site web rend plus supportable le fait de relire sans cesse ses propres textes
- Il considère que la maintenance du site peut aussi constituer une forme de spaced repetition pour l’auteur
Revenus, Patreon, vivre avec moins de 12 000 dollars par an
- Son activité d’écriture à plein temps repose sur Patreon et ses économies
- Ses revenus Patreon se situent autour de 900 à 1 000 dollars par mois
- Il a eu la chance de gagner assez avec ses premiers bitcoins pour tenir longtemps, mais pas assez pour être à l’abri définitivement
- Il essaie de réduire ses dépenses autant que possible afin d’allonger sa runway d’écriture
- La logique de récompense de Patreon et Substack lui paraît peu naturelle
- Il juge difficile de proposer de bonnes contreparties sans mettre en place de paywall
- Patreon et Substack conviennent bien à des personnes qui aiment les mises à jour régulières sous forme de newsletter, comme Scott Alexander, mais lui n’aime pas ce mode de fonctionnement
- Vivre avec moins de 12 000 dollars par an suppose une très grande frugalité
- Il vit dans un endroit isolé, dépense très peu en voyages, restaurants ou assurance santé, cuisine lui-même et utilise une salle de sport gratuite
- Il cite l’exemple d’un plancher de chambre pourri et effondré à cause de l’humidité, qu’il a simplement soutenu avec du bois de récupération et des solives, en acceptant que des insectes puissent entrer
- Il décrit son mode de vie comme celui d’un « étudiant en master qui mange de meilleures nouilles instantanées »
- Ce mode de vie n’est ni idéal ni un modèle que d’autres auteurs pourraient reproduire tel quel
- Il estime avoir aussi eu de la chance jusqu’ici avec une excellente santé et l’absence de grosses urgences
- Il dit qu’il s’agit d’un cas particulier où se sont alignés Bitcoin, une disposition personnelle à vivre comme un moine et une bonne santé
- Selon lui, ceux qui veulent devenir auteurs ou blogueurs doivent trouver leur propre modèle économique, que ce soit via Substack ou en travaillant dans une entreprise tech sur du JavaScript tout en écrivant à côté
- La principale raison pour laquelle il ne déménage pas à San Francisco est l’argent
- Il dit ne pas vouloir penser au nombre de mois de runway d’écriture qu’il devrait sacrifier pour chaque mois passé à vivre à San Francisco
- Il affirme que si quelqu’un lui proposait 50 000 à 100 000 dollars par an pour s’installer à SF tout en continuant à écrire à plein temps comme aujourd’hui, il accepterait immédiatement
Diversité des modèles d’IA, médicaments GLP, facteurs environnementaux, psychedelics
- Pour Gwern, en dehors de la « capacité », les modèles d’IA sont déjà bien plus variés cognitivement que les humains
- Il affirme que différents LLM pensent de manière distincte, rien qu’en regardant leurs échantillons
- Selon lui, les LLM diffèrent des GAN, les GAN diffèrent aussi des VAE, et en particulier dans les modèles petits ou peu performants, les espaces latents, les artefacts et les erreurs diffèrent fortement
- À propos des cas où il est difficile de distinguer les sorties de chaque modèle dans Chatbot Arena, Gwern estime qu’il s’agit d’une situation récente, limitée aux LLM et fortement optimisée
- Dans un contexte où tout le monde imite la manière de faire des autres et s’entraîne sur des données quasiment identiques, il compare cela à des « jumeaux monozygotes »
- Si l’on considère l’ensemble du deep learning, il pense que l’éventail des esprits et des modes de pensée est très large
- Il estime que la différence entre les GAN et les diffusion models se voit dans la manière de représenter les mains
- Selon lui, les GAN ont, à cause de l’adversarial loss, une incitation à dissimuler certaines choses, ce qui se manifeste par des mains envoyées hors champ ou par une incapacité à « penser » les mains
- Il dit que les diffusion models « pensent » les mains, mais commettent des erreurs en les représentant sous des formes énormes et monstrueuses
- Parmi les tendances dont les implications ne sont pas encore suffisamment comprises aujourd’hui, il cite les médicaments amaigrissants de la famille GLP
- Il dit avoir été surpris par leurs effets sur la santé, l’addiction et un large éventail de comportements
- Les résultats sont encore préliminaires, mais semblent correspondre à de vrais effets
- Il pense qu’ils pourraient nous apprendre quelque chose d’important sur la volonté humaine et la dysfonctionnalité
- Il estime qu’il est encore trop tôt pour dire si les GLP drugs invalident l’argument d’Algernon
- Il dit qu’on ne comprend pas encore réellement ce que font les GLP
- Leurs bénéfices pourraient réduire la fitness du point de vue de la fertilité, ou agir sur le corps d’une manière très difficile à reproduire génétiquement
- La crise de l’obésité étant un phénomène récent, clairement apparu seulement autour des années 1990, il juge difficile d’appliquer l’argument d’Algernon à une échelle de 20 à 30 ans
- Il considère comme presque certain qu’il existe, dans l’environnement moderne, des facteurs ayant un impact important, à la manière du saturnisme de la Rome antique
- Les chimistes créent sans cesse de nouvelles substances, il y a aussi des facteurs liés au microbiome, et les plastiques sont un candidat populaire, sans que ce soit forcément eux
- Sans croire à une cause unique, il pense qu’il peut exister quelque chose de nocif qui s’accumule selon une logique de « 1 % ici, 1 % là »
- En regardant les séries temporelles, l’intelligence semble globalement assez stable, donc le véritable facteur nocif concerne probablement davantage l’obésité que l’intelligence
- Il se montre sceptique face aux expérimentations de psychedelics à la mode Bay Area
- Les effets des psychedelics sont aigus et peuvent être permanents
- Il estime que les nootropics ont des effets relativement plus gérables et contrôlables
- Quelque chose comme le LSD peut modifier de manière durable votre regard sur la prise de LSD ou votre état psychiatrique
- Quelques usages peuvent être bénéfiques, et lui-même en a tiré profit, mais au-delà il faut, dit-il, examiner sérieusement quel bénéfice on en retire et comment on est en train de changer
Littérature, fiction, questions en suspens
- Sans Internet, Gwern dit qu’il aurait peut-être resserré ses centres d’intérêt et publié régulièrement pour survivre dans le monde académique classique, ou qu’il aurait pu bifurquer vers une vie de bibliothécaire à la Jorge Luis Borges
- Il dit avoir toujours adhéré à l’idée de Borges selon laquelle « le paradis ressemble à une bibliothèque », et dit aimer lui aussi les bibliothèques
- Il regrette de ne plus pouvoir passer beaucoup de temps dans des bibliothèques physiques, puisqu’il lit désormais surtout sur ordinateur
- Borges est pour Gwern une sorte d’auteur héroïque
- Après Dan Simmons avec Hyperion et The Fall of Hyperion, Kevin Kelly avec Out of Control, et « The Library of Babel », il a relu à plusieurs reprises les œuvres complètes de fiction et de non-fiction de Borges
- Il dit avoir été bouleversé par sa capacité à écrire, à partir d’un savoir encyclopédique, des nouvelles et des essais créatifs, amusants et provocateurs, et que s’il devait devenir un écrivain, ce serait Borges
- Parmi les œuvres littéraires qu’il n’a pas comprises au début mais qu’il a comprises plus tard, il cite « Story of Your Life » de Ted Chiang et « Suzanne Delage » de Gene Wolfe
- Il interprète « Suzanne Delage » comme une relecture subtile de Dracula, où Dracula envahit une ville, enlève une femme et lave le cerveau du narrateur à la manière de Bram Stoker pour lui faire tout oublier
- Il comprend « Story of Your Life » non comme une histoire de voyage dans le temps ou de prescience, mais comme l’histoire d’un esprit étranger mais tout aussi valide, qui voit toute chose comme partie d’un récit déjà déterminé et d’une fin déjà écrite
- Il se montre cynique sur l’utilité de la fiction
- On peut, selon lui, passer sa vie à ne lire que de la fiction sans en retirer aucun bénéfice, sinon connaître beaucoup d’anecdotes sur des choses inventées par d’autres
- Il dit que 99 % de la SF qu’il a lue était totalement inutile, et que les œuvres réellement assez pénétrantes pour changer une vision du monde se réduisent à une vingtaine de romans ou de nouvelles
- Le point commun de ces œuvres de premier plan est qu’elles traitent sérieusement de l’intelligence non humaine
- Le rôle qu’il aimerait jouer dans la vie des gens ressemble à celui qu’aurait le personnage « Gwern » dans un LLM comme Claude-3, en tant que mentor ou vieux magicien
- Il serait plutôt une figure qui apporte de la lucidité sur une situation et lance un call to adventure du type « toi aussi, tu peux écrire, faire quelque chose, penser »
- Il souhaite que le lecteur ne se contente pas d’y trouver du divertissement ou de l’information, mais développe aussi une aspiration à voir les pages web et Internet devenir meilleurs
- Il craint qu’en réalité, pour certaines personnes, il puisse apparaître comme une sorte de guru ou de trickster devil
- Pour ceux qui l’apprécient, il peut passer pour quelqu’un dont tout le contenu du site peut être accepté comme gospel, ce qu’il déteste
- Pour ceux qui le détestent, il peut être perçu comme une figure démoniaque exagérée, covert, malicious, neo-Nazi, eugenicist, totalitarian, communist, anti-Chinese
- Les open rabbit holes auxquels il aimerait avoir des réponses d’ici 2050 sont de grandes questions sur l’humanité et la civilisation
- Pourquoi dort-on et pourquoi rêve-t-on ?
- Pourquoi les humains vieillissent-ils ?
- Pourquoi la reproduction sexuée existe-t-elle ?
- Pourquoi les humains sont-ils si différents les uns des autres, et différents d’un jour à l’autre ?
- Pourquoi a-t-il fallu si longtemps aux humains pour développer une civilisation technologique ?
- Où sont les extraterrestres ?
- Pourquoi la révolution industrielle s’est-elle produite ailleurs qu’en Chine ?
- Comment aurait-on dû prévoir la révolution du deep learning ?
- Pourquoi le cerveau humain est-il si oversized par rapport aux artificial neural networks ?
1 commentaires
Commentaires sur Hacker News
Écrire, c’est voter pour l’avenir avec l’une des rares monnaies reconnues par le Shoggoth, à savoir les tokens à prédire. Ne pas écrire revient à renoncer à l’avenir et à son propre rôle en son sein, et même si l’on pense qu’il suffit d’être un bon citoyen, de voter, de ramasser les déchets et de recycler, cela revient à ne pas vraiment se soucier de l’avenir
Les prédictions sur l’IA semblent presque ne pas prendre en compte la manière dont de vrais humains jugeront si les médias générés par IA ont réussi, ou réussiront un jour, à remplacer les créations humaines. Aujourd’hui, le simple fait qu’un projet soit connu comme étant généré par IA est plutôt négatif, et alors qu’il y a deux ans une image IA en bannière de blog pouvait paraître cool, cela donne désormais l’impression d’être dépassé
Je reste donc sceptique face aux prédictions selon lesquelles une IA superintelligente remplacera toutes les créations humaines, les essais, les textes, les vidéos, etc. Ce n’est pas parce qu’une chose est possible qu’elle se produira réellement, ni que les gens s’en soucieront. Il me semble bien plus probable que des moyens de vérifier qu’on a affaire à un humain s’installent, que l’économie de l’attention continue de se concentrer sur de vraies personnes, et qu’on voie apparaître un gigantesque cimetière de déchets IA avec lesquels personne n’interagit
L’argument selon lequel l’IA ne prendra pas le dessus repose sur le fait que nous nous organisons autour des symboles et des récits, et que nous sommes extrêmement sensibles aux mèmes affaiblis ou inférieurs, si bien que l’IA doit à chaque fois se réinventer comme « quelque chose qui n’est pas de l’IA ». Cela dit, si l’on prend la musique comme analogie, des variations limitées peuvent dominer pendant des décennies, et il existe déjà des précédents où des mèmes dominants, capables de captiver l’esprit de millions de personnes toute leur vie, sont nés de déchets comme des pop stars fabriquées par la machine industrielle
Aujourd’hui, l’IA peut imiter l’ensemble du système de sens de ces pop stars, et TV Tropes recense tous les éléments de ces déchets culturels contre lesquels les gens devraient être immunisés, mais malgré cela des millions de personnes vivent encore à travers les personnages et les récits issus de cette pop poubelle. De la même manière que la musique, la télévision et le cinéma façonnent aujourd’hui l’ontologie des gens, il y aura clairement une longue traîne où les déchets IA façonneront eux aussi leur ontologie, ce qui se rapproche beaucoup du fait d’être emporté par une simulation IA, peut-être d’une manière encore plus subtile. Ou peut-être qu’on s’en débarrassera tout simplement
Je parie l’avenir sur l’idée que l’humanité va buter, avant un hard takeoff, sur des limites informationnelles difficiles à gérer, qui imposeront des rendements décroissants aux gains de performance, mais il est pour l’instant difficile de faire confiance à l’idée que les méthodes actuellement démontrées se trouvent déjà haut sur une courbe en S. Les modèles d’IA ont été spectaculairement meilleurs cette année que l’an dernier, et l’an dernier que l’année précédente, et il est très probable qu’ils continuent de s’améliorer dans les prochaines années
Rien que cela suffit à transformer profondément une grande partie des processus sociaux et économiques, en bien comme en mal
Par exemple, Dall-E 2 était bien meilleur à sa sortie qu’aujourd’hui, et la version actuelle a manifestement été ajustée pour l’empêcher de produire quelque chose de proche des sorties d’artistes contemporains, tandis que le reste a été modifié pour être rendu dans ces tons orange et bleu agressifs pour l’œil. Au final, dès qu’un meilleur modèle apparaîtra ou fuitera, on ne pourra plus distinguer quelles images sont générées par IA et lesquelles ne le sont pas
Il vaudrait peut-être mieux exercer son droit de vote en spammant l’IA générative avec du contenu allant dans son sens, ou en allant au Kenya faire du travail RLHF sous-payé
J’ai du mal à croire que Gwern vive aussi frugalement que le décrit cet article, et je ne suis même pas certain qu’il s’agisse vraiment de lui. Je suis presque sûr que Gwern a une persona qu’il veut montrer, et que l’image de frugalité en fait partie
À la question « Qui est Gwern ? », je dirais que c’est le genre de personne qui plante des graines dans l’esprit des gens et les laisse ensuite inventer eux-mêmes le reste de l’histoire. Cela dit, j’aime beaucoup nombre de ses textes, en particulier ces sujets étranges et ultra-spécifiques auxquels la plupart des gens ne s’arrêtent même pas pour penser
C’est grâce à son essai sur le biais des coûts irrécupérables que j’ai fini par ne pas me faire tatouer alors que j’avais changé d’avis. J’étais à deux doigts d’y aller juste parce que j’avais déjà versé un acompte, mais j’ai lu ce texte une semaine avant le rendez-vous et je me suis dit : « Si même les jeunes enfants et les animaux ne se laissent pas piéger par les coûts irrécupérables, alors moi non plus je ne devrais pas. » Littéralement, les écrits de Gwern ont sauvé la peau de mon dos
Je n’aime pas trop l’idée que les gens finissent par l’enfermer dans cette seule image de frugalité efficace, mais j’espère qu’il reçoit en compensation beaucoup de soutien, directement ou via patreon.com/gwern
C’était une interview difficile à écouter, pour deux raisons subtilement proches
La voix semblait tomber dans la vallée de l’étrange : réaliste, mais pénible à entendre. Plus précisément, relier le sens à partir de cette voix demandait un effort cognitif, et le timbre comme le sens ne se soutenaient pas mutuellement. Peut-être que des enfants élevés dans ce genre de voix au ton aléatoire seraient différents
La conversation aussi était excessivement verbeuse. Un vocabulaire étendu masque souvent une pauvreté du raisonnement, et pour certains auditeurs, l’effort pour comprendre les mots peut gêner la compréhension de leurs relations, c’est-à-dire du sens, si bien que cela peut sonner comme un mélange de mots qui ont l’air intelligents. Si l’on retire le vocabulaire, les moqueries subtiles et le style « j’en sais plus que ce que je dis », on voit apparaître beaucoup de bavardage qui n’est ni juste ni abouti dans son raisonnement. Ce type de conversation peu élaborée dans le raisonnement n’a rien de problématique en soi, mais l’emballer dans un vocabulaire et un style peu familiers crée des malentendus et manque d’égards. Certains passages qui « ont l’air intelligents » sont en réalité simplement des passages idiots bien habillés
Je ne connais pas assez bien l’état de l’art des voix générées par IA, donc je peux me tromper, mais ça ne sonnait pas comme du faux, et la source liée dit aussi qu’il s’agit d’un humain. L’étrangeté vient peut-être du fait qu’un humain essayait de lire une transcription de conversation en lui donnant l’air d’une vraie conversation
Ce fut une semaine riche en interviews de podcast intéressantes sur l’IA
En plus de celle-ci, il y a la série d’interviews de Lex Fridman avec des figures clés d’Anthropic https://youtu.be/ugvHCXCOmm4, ainsi qu’une longue conversation entre Stephen Wolfram et Eliezer Yudkowsky sur le thème du risque IA https://youtu.be/xjH2B_sE_RQ
Mon intuition préférée de Gwern est Bitcoin is Worse is Better. Après avoir résumé une longue liste d’objections à Bitcoin, il demande si elles ont un point commun, et sa réponse est : « non, le problème de Bitcoin, c’est qu’il est moche »
Faire reposer la sécurité du réseau uniquement sur une puissance de calcul brute supérieure à celle de l’adversaire, c’est moche ; exiger, pour éviter la double dépense, plus de la moitié de la capacité de traitement maintenant comme à l’avenir, c’est moche ; un arbre de hachage qui continue de grossir, c’est moche ; un système inutilisable hors ligne sans proxy ni contournement, c’est moche ; devoir suivre publiquement toutes les transactions, c’est moche aussi. Même si l’on estime que la masse monétaire doit être fixe, il demande pourquoi la limite arbitraire de 21 millions a été choisie, et pourquoi ce ne pouvait pas être un nombre plus rond ou une puissance de 2. Le minage aussi constitue un cadeau excessif aux premiers participants, et il critique l’ensemble comme laid et peu élégant, jusqu’au fait que des bitcoins puissent tout simplement disparaître s’ils sont envoyés à une mauvaise adresse
https://gwern.net/bitcoin-is-worse-is-better
J’ai du mal à comprendre pourquoi on accorde autant de crédit à cette imagination teintée d’espoir d’une entreprise d’IA avec une seule personne visionnaire tout en haut
D’abord, les CEO véritablement visionnaires constituent une niche extrêmement étroite. Ensuite, la plupart des entreprises ne fonctionnent pas ainsi, et le simple fait qu’une main-d’œuvre existe est tout aussi important que ce que l’entreprise produit. Enfin, dans une société où le travail salarié, moteur économique le plus courant, aurait soudain disparu, qui achèterait ou louerait ces services ou produits ?
Cette manière de penser systémique, qui suppose qu’on peut modifier et remodeler les systèmes à volonté comme si l’on pouvait ignorer complètement les implications sociales, m’agace profondément. Tout autour, on voit en pratique des ingénieurs en silo glorifiés, ivres de leur propre assurance, se donner des airs de « penseurs »
Le lien du passage cité sur Newton renvoie vers un article du site de Gwern, et cet article contient de nombreux liens internes et externes, mais je n’y ai pas trouvé de lien étayant la vision du « progrès » de Newton
La notion de « progrès rapide » est relative. Il y avait déjà des progrès rapides à l’époque, et il y en a simplement de plus rapides aujourd’hui, il n’y a donc pas de contradiction. Je ne suis pas non plus d’accord avec l’idée que nous ne serions guère impressionnés par des siècles d’améliorations dans la construction navale, par de longs poèmes philosophiques en latin, ou par l’aiguille et l’imprimerie. Nous le sommes tout à fait
Je ne sais pas comment cette interview a pu recevoir autant de recommandations, et j’ai l’impression d’avoir perdu mon temps
La deuxième grande citation de https://gwern.net/newton#excerpts renvoie de façon très visible à https://www.newtonproject.ox.ac.uk/view/texts/normalized/THEM00173, et j’ai estimé qu’elle justifiait pleinement mon affirmation, puisqu’elle vient de propos tenus directement par Newton à son gendre. Elle est aussi étroitement parallèle à d’autres déclarations historiques, comme celles de Lucretius, que j’ai également présentées avec des références claires et des citations précises
J’ai un peu de mal à comprendre qu’on puisse dire que cela n’étaye pas du tout l’argument, et je me demande si tu ne regardes pas une autre page
Ce n’est pas tant parce que je crois que la civilisation humaine avancée s’est autodétruite dans notre ligne temporelle, mais parce que le fait de voir apparaître tant de percées transformant la vie en si peu de temps ressemble à une marche ininterrompue vers le grand filtre
Cela va sans doute sembler un peu agressif, et ça l’est effectivement un peu, mais j’ai déjà interagi avec Gwern sur ce forum, et ce dont je me souviens, c’est de ce fil où Gwern croyait à tort que a^nb^n était un langage régulier, tout en qualifiant mon commentaire de « not even wrong »
https://news.ycombinator.com/item?id=21559620
Désolé d’être négatif, mais à l’époque déjà, Gwern était érigé par une part assez importante de la communauté au rang d’influenceur majeur dans le domaine de l’IA. Pour moi, c’était un bon exemple du fait que la plupart des AI influenceurs, plutôt que de faire de la recherche, se disputent l’influence sur les réseaux sociaux tout en connaissant mal l’IA et l’informatique, et ne sont doués que pour compiler et vulgariser des connaissances de seconde main. Il est facile de faire les pom-pom girls du point de vue dominant en IA. Le difficile, c’est de trouver sa propre direction et de la suivre
Les Transformers peuvent comprendre intellectuellement assez facilement a^nb^n, mais ils ne peuvent pas déterminer si une chaîne arbitrairement longue appartient à ce langage. Or les humains partagent aussi cette limite. Si la chaîne est suffisamment longue, les humains finissent eux aussi par perdre le compte
Je respecte toutes sortes d’efforts, mais l’ingénierie consiste à créer des choses que les gens peuvent utiliser sans avoir besoin de tout savoir. C’est une tâche bien plus intéressante que de devenir un moteur de recherche Google humain
L’idée de l’avatar est intéressante, mais au lieu de créer un avatar parlant, j’aurais préféré qu’il n’y ait que la voix et la forme d’onde audio. C’est peut-être une préférence personnelle : je n’ai pas envie d’avoir une image mentale de quelqu’un que je ne connais pas. C’est un peu comme lire un livre après avoir vu son adaptation au cinéma
Qu’un acteur double la voix est normal, mais montrer le visage d’un acteur pour représenter une personne anonyme est un choix assez inhabituel
Avantage de l’anonymat : « j’en ai beaucoup profité, parce que les gens n’ont pas pu envoyer de l’héroïne chez moi ni faire de faux signalements à la police pour provoquer une intervention du SWAT »
Inconvénient de l’anonymat : pas d’héroïne gratuite