Des enfants jouant dans le ruisseau
(hgreer.com)- Les jeux d’enfance consistant à barrer un ruisseau, à mesure que la force et les connaissances grandissent, cessent d’être de simples amusements pour devenir des choix capables d’abîmer les frontières du jeu
- En faisant s’effondrer la berge avec une grande pelle, on gagne facilement le puzzle de la construction d’un barrage, mais à cet instant, l’espace de jeu où l’on pourra rejouer se réduit
- Des activités qui testaient les limites, comme une catapulte en K'Nex, des expériences avec des pétards ou la fabrication d’arcs, deviennent difficiles à pousser à fond une fois que l’on en comprend les risques et les conséquences
- Une proposition d’une banque d’investissement a été le déclencheur qui a fait comprendre que le « jeu consistant à gagner le plus d’argent possible » avait atteint le même stade
- Le développement de l’intelligence artificielle s’inscrit lui aussi dans la même analogie : réussir à fond peut déboucher sur une fin moins gratifiante, comme l’explosion métaphorique d’un pétard
Le moment où l’on ne peut plus y aller à fond
- Dans l’enfance, le jeu consistant à barrer le ruisseau du jardin consistait à boucher des trous avec des pierres, des feuilles et du sable pour voir jusqu’où l’on pouvait faire monter l’eau
- À un moment, l’idée est venue qu’en faisant s’effondrer la berge avec une grande pelle de 5 pieds, on pourrait construire un barrage plus grand et plus efficace
- Son père lui a dit qu’il avait déjà résolu ce puzzle, et qu’il ne pouvait donc plus jouer librement à barrer le ruisseau
- Le prix de la victoire était une réduction de l’espace dans lequel il était possible de jouer, et l’échec et mat se produisait non pas sur le plateau, mais en dehors du jeu
- La même transformation s’est répétée dans d’autres jeux
- Après avoir percé un trou dans le plafond, construire une catapulte en K'Nex est passé d’une activité dont on pouvait profiter avec insouciance à une activité exigeant de la prudence
- Attacher des pétards ensemble pour voir quelle explosion on pouvait produire n’était pas une activité où l’on pouvait être autorisé à chercher la limite jusqu’au bout
- Après avoir appris les techniques de tillering, il n’était plus possible de fabriquer arcs et flèches à pleine puissance pour des batailles entre amis dans le jardin
- Il avait travaillé dur sur le leetcoding, l’étude des systèmes de build et le peaufinage de son CV pour décrocher une proposition en banque d’investissement, mais au moment où il l’a obtenue, il en est arrivé à la conclusion qu’il ne pouvait pas continuer le jeu consistant à gagner le plus d’argent possible
La même analogie appliquée au développement de l’IA
- Quand on a un adversaire suffisamment fort, on peut l’affronter à fond pendant longtemps
- Les jeux de plage dans les écoulements des mares de marée à marée basse en sont un exemple
- On peut retenir le sable avec les mains pour créer des lacs, des deltas et des canyons, mais la marée montante est bien plus puissante et efface tous les résultats
- À mesure que la compréhension augmente, les options se resserrent à nouveau
- Au-delà du simple fait de pousser le sable à la main ou à la pelle, si l’on fait pression sur le conseil municipal pour installer un épi côtier (groin) ou une seawall, on peut réellement déplacer de grandes quantités de sable sur la plage
- On ne peut donc pas vraiment y aller à fond, et on n’en a pas non plus envie
- Même en creusant le sable à la main, on voit les traces de coquinas qui se réenfouissent après le passage des vagues, des conséquences invisibles à quatre ans mais visibles désormais
- On se demande si les coquillages accidentellement ensevelis rapidement dans un petit chantier de terrassement de 2 pieds peuvent remonter à la surface
- On suppose que la plupart le peuvent, et l’on continue
- Cette analogie s’étend aussi au développement de l’intelligence artificielle
- Le processus consistant à y aller à fond était une aventure intéressante et réellement gratifiante
- Mais réussir pour se faire arracher la main dans l’explosion métaphorique d’un pétard est un résultat moins gratifiant
- Ce jugement tient même si l’on étend l’analogie à une situation où l’on rivalise avec ses voisins pour savoir qui perdra la main en premier, ou à l’idée que tout le monde partage une seule et même main
- Du côté positif, dans son dernier rapport sur les usages dans l’éducation, Anthropic semble au moins remarquer les coquinas
1 commentaires
Avis de Hacker News
C’est un bon texte, mais à mon avis, le cœur du sujet n’est pas le développement de l’IA, mais le passage au début sur « gagner autant d’argent que possible »
Les problèmes que l’on voit avec l’IA viennent moins du développement lui-même que du marketing et de la diffusion. Barrer un ruisseau pour s’amuser puis échouer ou se blesser à la main, c’est regrettable, mais l’ampleur se limite d’elle-même. Ce qu’on fait par amusement ou par défi a du mal à prendre une grande ampleur au-delà de ce qu’une personne peut apprécier individuellement
Si tout le monde traitait l’IA comme on barre un ruisseau pour s’amuser, il n’y aurait pas grand problème. Même si les modèles sont puissants, ils auraient probablement un côté étrange et fragmentaire, parce que l’intérêt porterait davantage sur le bricolage ludique que sur le gain financier. Comme tous ces projets amateurs qui passent sur HN, on dirait « c’est cool » avant de passer à autre chose, et on ne les mettrait pas à un point de dépendance critique
IA ou pas, les problèmes apparaissent dès qu’on commence à utiliser quelque chose pour gagner « autant d’argent que possible ». À la fin, l’article laisse aussi entendre qu’Anthropic commence à remarquer les coquillages, mais dans les différents exemples du texte, ce qui fait s’arrêter les gens, ce n’est pas l’introspection, mais une autorité extérieure, comme des parents. La plupart des gens ne sont pas aussi réflexifs que l’auteur, et peuvent ne pas se soucier de « gagner à un jeu à somme nulle contre des gens qui n’ont aucune raison de perdre », ni des coquillages. Il faut que quelqu’un leur retire la pelle
Tant qu’on traitera « gagner autant d’argent que possible » comme une exception au principe selon lequel « il ne faut pas continuer jusqu’à ce que quelque chose casse », ces problèmes continueront, avec ou sans IA
Aujourd’hui, je suis à la retraite et je bricole dans mon « jardin logiciel ». J’utilise aussi l’IA pour résoudre des problèmes et générer des ébauches de code, mais l’objectif est la satisfaction personnelle
Quand les personnes qui disposent des outils sont rares, l’artisan a énormément de valeur. Comme le savoir ou la vraie compétence ne sont pas en surabondance, il peut gagner beaucoup d’argent, et les autres ont du mal à le rattraper faute d’outils et de savoir-faire. On peut devenir riche par l’effort fourni en amont
Quand tout le monde dispose des mêmes outils, l’artisan garde de la valeur. Les connaissances et les compétences accumulées avec le temps restent rares, et il a intérêt à continuer à développer son savoir-faire pour garder de l’avance
Quand l’outil fait le travail à sa place, la valeur de l’artisan devient limitée. Il devient une sorte de relique, et même s’il pousse très loin son expertise, la plupart des gens peuvent simplement allumer l’outil et obtenir un résultat suffisamment correct
Nous sommes actuellement entre la phase 2 et la phase 3. On pose encore en entretien des questions sur la conception d’algorithmes ou la complexité des approches, mais beaucoup de gens n’arrivent pas à franchir le point de bascule du « alors, qu’est-ce qu’on fait maintenant ? »
Désormais, la valeur vient moins du fait de savoir comment fonctionne l’automatisation que de la capacité à utiliser les outils pour créer davantage de valeur que la personne moyenne. C’est une transition difficile pour ceux à qui l’on a appris que ce savoir suffisait à mener une vie stable ou lucrative
L’époque des entretiens SDE est derrière nous, et quand on cherchera des ingénieurs, on cherchera davantage des gens capables d’accepter le présent et d’ajouter une utilité humaine aux outils accessibles, afin que l’ensemble dépasse la somme de ses parties, plutôt que des personnes capables de recréer elles-mêmes une version de l’outil
La meilleure partie de la création logicielle, c’était la créativité, et cela n’a pas changé. Au contraire, c’est encore plus important aujourd’hui
Au bout du compte, nous construisons des choses destinées aux consommateurs. Si le ruisseau a commencé à couler dans une autre direction, il faut accepter que les choses ont changé et s’adapter, au lieu de continuer à empiler des pierres là où l’eau passait autrefois
Il se félicite d’avoir compris qu’il y avait une limite à la destruction des biens de ses parents, se félicite de savoir contempler le sable de la plage comme un moment Instagram de simplicité existentielle, et se félicite d’être assez intelligent pour avoir pu se faire exploser la main. Je ne sais pas ce que veut dire « Leetcoding », mais c’est du même ordre ; il dit aussi avoir quitté un emploi douteux par ennui, tout en laissant entendre qu’il a peut-être développé une conscience. Et à la fin, cela se termine par « bien sûr, ceci est une histoire sur le développement de l’intelligence artificielle »
Si j’ajoutais une chose, c’est qu’on y voit une envie d’amour plutôt que d’argent, mais en réalité l’envie des deux, et la volonté persistante de pousser quelque chose de mauvais dans un point de dépendance critique du monde. Cela ressemble à une tentative d’obtenir tout ce qu’il peut obtenir, que ce soit de l’amour ou de l’argent. Mes parents appelaient ça « un enfant qui veut juste de l’attention, bonne ou mauvaise »
Je pense que c’est le moteur fondamental de la plupart des milliardaires de la tech des vingt dernières années. Ce qui relie Bezos, Zuck, Jobs, Dorsey et Musk, c’est un désir du genre : « Papa, regarde, je n’ai pas seulement pris ton argent. J’étais assez intelligent pour me faire sauter la main avec des feux d’artifice, mais regarde, j’ai encore mes deux mains. Avec ton argent, j’ai gagné énormément d’argent. Pourquoi tu n’es pas fier de moi ? Où est-ce que je trouve l’amour ? Si je dis à tout le monde à quel point je suis un Leetcoder, et que je pourrais créer une mauvaise IA mais que je ne crée que de bonnes IA, est-ce que tout le monde m’aimera ? »
Bien sûr, je ne suis pas non plus totalement libre de ce genre de sentiments. Je veux faire de bonnes choses, et je veux que les gens aiment ce que j’ai fait. Mais dans ce type de texte, il y a une volonté de paraître et un narcissisme beaucoup trop flagrants. Si vous êtes vraiment un génie, allez vous allonger avec les coquillages ou écrivez un roman. Si vous avez réellement une conscience, ayez le courage de dire que vous en avez une. Pour le reste, laissez les choses tranquilles, et n’allez pas contaminer un monde que vous ne comprenez pas avec une avidité infantile et une obsession de vous-même
Excellent essai, et je ressens à peu près la même chose que l’auteur, même si je n’aurais sans doute pas su l’exprimer aussi bien.
Cela dit, si l’on s’attend à ce que les chercheurs en IA suivent ce conseil et ralentissent, mieux vaut ne pas attendre. L’auteur dit avoir quitté un emploi très bien payé dans la finance pour des raisons morales, et c’est respectable. Mais Wall Street continue de tourner, et les gens prêts à jouer au jeu de « gagner autant d’argent que possible » ne manquent pas.
Un récent commentaire HN [0] comparant les entreprises et les institutions à l’IA m’est resté en tête. Ces organisations fonctionnent déjà comme des intelligences surhumaines.
[0] https://news.ycombinator.com/item?id=43580681
Des entreprises comme Amazon, Google et OpenAI abîment la planète assez rapidement, tandis que des entreprises comme Citadel ne font que déplacer de l’argent d’un endroit à un autre.
Le tillering mentionné ici ne désigne pas l’apparition de pousses latérales chez les graminées, mais le fait de façonner le bois en le courbant pour fabriquer un arc. C’est toujours amusant d’apprendre un nouveau mot.
[1]: https://www.howtomakealongbow.co.uk/part-5-tillering
[2]: https://en.wikipedia.org/wiki/Tiller_(botany)
C’est un processus itératif : on le courbe, on le rabote, puis on le recourbe, en retirant progressivement du bois.
Les passages sur le fait de barrer un ruisseau ou de jouer dans le sable au bord de la mer m’ont fait sourire tant ils sont sains. Résoudre le puzzle, c’est plutôt la mauvaise fin d’un jeu où jouer n’est plus amusant.
Les gens devraient passer plus de temps à faire des choses parce qu’elles sont amusantes, plutôt que pour devenir meilleurs. Que la fin du monde arrive de notre vivant ou non, j’essaie dans tous les cas de profiter autant que possible de la vie.
Vonnegut l’a dit le mieux.
https://richardswsmith.wordpress.com/2017/11/18/we-are-here-...
https://www.goodreads.com/quotes/12020560-talking-about-when...
« Quand il dit à sa femme qu’il sort acheter une enveloppe, celle-ci lui répond qu’il n’est pas pauvre et qu’il pourrait très bien acheter cent enveloppes en ligne et les mettre dans le placard. Alors il fait semblant de ne pas l’entendre et sort acheter une enveloppe, parce qu’il va passer un très bon moment en allant acheter cette seule enveloppe. Il va rencontrer beaucoup de gens, voir des gens formidables, lever le pouce si un camion de pompiers passe, demander à une femme de quelle race est son chien. La morale de l’histoire, c’est que nous sommes venus sur Terre pour flâner. Bien sûr, les ordinateurs vont nous enlever ça. Ce que les gens de l’informatique ne savent pas, ou dont ils se moquent, c’est que nous sommes des animaux qui dansent. »
― Kurt Vonnegut
L’auteur semble s’inquiéter du risque lié à l’IA, à savoir que « l’IA va tous nous tuer », un thème courant sur LessWrong.
Mais en tant que personne qui utilise souvent les modèles d’IA récents, il n’est pas du tout évident qu’un tel risque existe dans un horizon temporel prévisible. Même les meilleurs modèles actuels sont trop crédules et manquent d’intuition comme d’originalité.
Dwarkesh avait posé autrefois une question de ce genre : « Ces modèles ont, en pratique, mémorisé l’ensemble du savoir humain ; en tant que scientifique, comment voyez-vous le fait qu’ils n’aient pas créé une seule nouvelle connexion menant à une découverte ? Si une personne moyennement intelligente avait mémorisé autant de choses, ne remarquerait-elle pas des choses du genre “ceci provoque ce symptôme, et cela provoque le même symptôme, donc voici peut-être un traitement” ? Ne devrait-on pas s’attendre à cela ? »
J’ai vécu quelque chose de similaire il y a peu. J’ai demandé à GPT-4.5 « Deep Research » quel matériau convenait le mieux à une pièce mécanique donnée ; sa première réponse recopiait quasiment un billet LinkedIn ridiculement stupide, et la seconde venait d’un communiqué de presse marketing. Il n’y avait aucune intuition originale, et j’en ai conclu que je devais finalement faire moi-même les recherches et les expériences.
L’essentiel, c’est que je ne vois pas les grands modèles de langage inventer une méthode effrayante et nouvelle capable de tuer toute l’humanité. Cela n’a pas du tout changé ces cinq dernières années. Ils savent simplement désormais parcourir des billets LinkedIn et trouver des communiqués de presse sur le Web.
En plus, ces modèles n’ont ni volonté indépendante ni sens du temps ou de l’espace. Même sur le principe, il n’est pas clair qu’ils puissent fonctionner comme de véritables agents indépendants.
Mais je ne sais pas si quelqu’un a créé un modèle multimodal entraîné à la fois sur des données de tomographie aux rayons X de pièces soumises à diverses charges et sur des descriptions de l’usage de ces pièces. Un tel modèle pourrait, me semble-t-il, donner une assez bonne réponse à la question.
En revanche, ils peuvent pousser des idiots crédules à conduire l’humanité droit vers la falaise. C’est déjà ce qui est en train de se produire. Le modèle n’a pas besoin d’être un agent indépendant ; il suffit qu’il ait l’air intelligent.
« Ce n’est qu’après l’avoir obtenu que j’ai compris que je ne pouvais plus jouer au jeu consistant à “gagner autant d’argent que possible” »
Ce qui est drôle, c’est que mon père m’a appris cela quand j’avais 12 ans, par compassion. Je ne comprends pas pourquoi on idéalise autant les gens à la Spock, amoureux de la logique. Ne savent-ils pas que le vrai héros de Star Trek, c’était le Captain Kirk ? Justement parce qu’il avait de la compassion.
Il n’est pas surprenant que les Zizians soient issus de LessWrong.
S’il y a de l’argent à gagner, il y aura toujours quelqu’un prêt à prendre des risques, que ce soit avec une pelle ou avec un camion rempli de feux d’artifice. Surtout s’il peut faire porter le risque au public tout en gardant la récompense pour lui.
Quand on est parent, on regarde chaque jour son enfant et il arrive qu’on s’émerveille devant ce petit être étonnant, étrange et unique.
Les auteurs de LessWrong semblent ressentir la même chose chaque jour en se regardant dans le miroir.
Il faudrait expliquer ce que signifie la métaphore « coquina ».
Dans le monde réel, cela semble vouloir dire qu’Anthropic entreprend le gigantesque projet de créer une AGI, tout en commençant seulement maintenant à prendre conscience de ses effets potentiels sur les gens.
Cela semble signifier qu’Anthropic commence à percevoir les risques que son travail peut faire courir à autrui, mais je ne sais pas exactement à quoi cela renvoie.
[1]: https://www.youtube.com/watch?v=KZUlf7quu3o
C’est la différence entre creuser un peu de sable à la main et enterrer temporairement de petites créatures, et « faire du lobbying auprès d’un conseiller municipal pour installer un épi ou une digue et déplacer réellement le sable de la plage ».
https://www.anthropic.com/news/anthropic-education-report-ho...