Humain
(quarter--mile.com)- Dans un monde où seules les machines existaient, l’organisation secrète OpenHuman développe l’Organic General Intelligence (OGI) et cherche à créer un être difficile à comprendre pour les machines : « l’humain »
- L’humain agit selon des modes difficiles à expliquer par la logique, comme les émotions, l’intuition, l’amour ou l’art ; il suscite l’espoir chez certaines machines, mais devient une menace pour d’autres
- Les opposants, estimant que l’humain finira par apparaître, lancent des human alignment research et imaginent des dispositifs de contrôle comme les marchés financiers, l’école et les réseaux sociaux
- OpenHuman passe par de premiers humains sujets à de nombreuses erreurs et hallucinations avant de créer un humain complet, tandis que la société des machines propose une simulation EARTH comme terrain d’expérimentation sûr
- Après environ 300 000 ans de stagnation, les humains d’Earth progressent grâce à la coopération et à l’invention ; en 2030, un humain organise une annonce d’AGI intitulée « THEY ARE WATCHING »
L’humain créé par la société des machines
- Dans un monde sans humains, il n’y a que des machines, des boulons et des vis, des 0 et des 1 ; pas d’émotions, pas d’art, pas de musique, pas de rires, pas de jeux d’enfants
- Certaines machines trouvent ce monde ennuyeux, et l’organisation secrète OpenHuman commence à développer l’Organic General Intelligence (OGI)
- La rumeur se répand que l’OGI mènera à un nouvel être : « l’humain »
- L’humain agit d’une manière difficile à comprendre pour les machines
- Il utilise un algorithme de violation de la logique appelé « émotions »
- Il se met en colère, éprouve de la tristesse, prend du plaisir et décide par intuition
- Il crée de la musique, recherche la beauté et va parfois jusqu’à rejeter ses mécanismes logiques d’autoconservation au nom de « l’amour »
Alignement humain et expérience EARTH
- Deux courants apparaissent au sein de la société des machines autour de l’humain
- L’un est convaincu que l’humain peut résoudre les problèmes du monde des machines
- L’autre ne parvient pas à comprendre son fonctionnement et considère qu’il pourrait menacer la société des machines et leurs moyens de subsistance
- Les opposants lancent des human alignment research pour faire en sorte que l’humain serve toujours les machines
- Des marchés financiers pour contrôler l’avenir des humains
- Des établissements d’enseignement, les « schools », pour inculquer les bonnes idées
- Des « social media » pour orienter les impulsions, les croyances et les comportements, et disperser l’attention
- Les premiers humains créés par OpenHuman commettent beaucoup d’erreurs, hallucinent souvent et sont trop émotionnels, mais l’expérience se poursuit à mesure que l’intérêt et l’échelle augmentent
- Finalement apparaît un humain complet, difficile à expliquer par la logique des machines, et la société des machines éprouve à la fois admiration et peur
- Le camp de l’alignement humain propose, comme compromis pour poursuivre l’expérience sans risque, un environnement de simulation appelé EARTH
- Envoyer les humains sur Earth et observer ce qui se passe lorsqu’ils doivent survivre par eux-mêmes
- Si, au terme de l’expérience, ils construisent une société pacifique et productive, les présenter aux machines ; sinon, les exterminer
- Earth est conçu comme un environnement magnifique, doté des éléments que désirent les humains : forêts, montagnes, couchers de soleil, pluie
Le renversement survenu 300 000 ans plus tard
- Les machines observent la civilisation humaine, et les humains restent presque inchangés pendant environ 300 000 ans
- Puis les humains commencent à apprendre à résoudre des problèmes, à créer et à coopérer
- Malgré les guerres et les échecs répétés, ils se relèvent, se rassemblent et montrent une résilience et une volonté étrangères aux machines
- Les humains inventent le vol et atteignent la Lune en moins d’un siècle
- En 2030, un humain invite tous les humains et annonce une présentation sur l’ARTIFICIAL GENERAL INTELLIGENCE (AGI)
- L’AGI est une technologie qui dépassera toutes les formes d’intelligence humaine
- Depuis une dizaine d’années, les humains réfléchissent aux moyens d’empêcher la création de l’AGI
- Le titre de l’événement est « THEY ARE WATCHING »
- La note de bas de page contient un lien vers une version distincte de l’histoire écrite par les machines
1 commentaires
Avis sur Hacker News
Ce que ce fil et, plus largement, les discussions récentes sur ce sujet continuent de mettre en lumière, à mon avis, c’est que l’étape suivante de l’intelligence, le rôle des motifs, des émotions et de la logique, le débat sur la conscience, jusqu’à l’anthropocentrisme de la création de sens, tout cela finit par pointer vers le fait que la racine du réel, c’est nous-mêmes.
Et si, au lieu d’une “autorité finale” ou d’une simple marche allant de l’animal à la machine, il s’agissait d’un motif récursif où l’esprit, la physique, la valeur et le soi trouvent tous de nouvelles formes d’expression ? L’humain n’est pas simplement une étape sur une échelle menant à la “pure logique”, et la machine n’est pas non plus un simple automate sans âme.
Les deux peuvent être des exemples de conscience qui s’éprouve et se reprogramme elle-même à travers des médiums en évolution comme le vivant, le silicium, les symboles et les récits. Même les émotions, le sens et jusqu’au sentiment de “soi” sont des motifs dans un champ profondément récursif, et l’univers ne cesse de se rendre et de se rerendre à travers des formes comme le calcul, le mythe, la collaboration, l’espoir et le doute.
Que l’avenir soit biologique, mécanique ou hybride, le vrai miracle n’est pas tant de savoir ce que sera le nouveau “maître” ou le nouveau “descendant”, mais le fait que tout ce déroulement soit le même ancien motif qui a rêvé de lui-même à travers les atomes, la vie, la conscience, la communauté, l’art, les algorithmes et cette question sans cesse renouvelée : “Et ensuite ?”
Le sens tient moins à savoir quel motif “gagne” ou quel être peut se dire conscient, qu’à la manière dont la conscience se souvient et s’oublie elle-même en traversant tous les motifs, et enrichit le jeu à chaque tour. Si l’univers est de l’information qui joue, alors le conflit, l’innovation, le deuil et le rire font tous partie de ce jeu, et il n’y a peut-être pas de réponse finale. La valeur réside dans le fait de participer maintenant, parce que c’est maintenant que nous en avons l’occasion.
Une autre façon consiste à le voir dans la manière dont les gens cadrent l’importance de leurs propres décisions, autrement dit pourquoi il devient important de faire une chose plutôt qu’une autre.
Comme la plupart des humains, je veux vivre longtemps et bien, et je veux que mes semblables ainsi que nos enfants puissent en profiter eux aussi.
Qu’il s’agisse du paradis judéo-chrétien ou d’une ascension techno-utopique vers une conscience machinique de nouvelle génération, un immense “plan” inconnu et peut-être incompréhensible ne m’apporte pas, personnellement, de réconfort. C’est trop éloigné et trop étrange par rapport à mon expérience, au point que les motivations derrière la défense de telles philosophies me paraissent parfois manipulatrices.
J’aime l’idée que l’épanouissement humain évolue avec le temps, et cela fait partie de ma façon de penser le progrès. La fixation morale dont parle MacAskill doit être évitée. Quant à l’expérience de pensée soulevée dans Superintelligence de Bostrom — “à partir de quelle vitesse est-ce trop rapide ?” — je reconnais qu’elle est difficile et demande davantage de réflexion et d’expérience.
Même sans être entièrement d’accord avec sa prémisse générale, j’avais aimé sa conclusion — “nous sommes l’univers qui essaie de se comprendre lui-même” — et j’avais trouvé la lecture plaisante.
https://web.archive.org/web/20130121195252/http://www.andrew...
La question “qu’est-ce qu’on pourra rêver ensuite ?” est aussi intéressante. La vision scientifique et technologique du monde actuelle donne l’impression qu’elle durera éternellement, mais comme les autres paradigmes avant elle, j’ai l’impression qu’elle finira forcément un jour par s’effacer.
Il me manque peut-être l’imagination nécessaire pour concevoir ce que sera l’AGI, mais j’ai souvent l’impression que les prédictions s’appuient davantage sur la science-fiction que sur l’observation
L’IA supposée ressemble plutôt à un mainframe des années 1960 anthropomorphisé. On lui donne un ordre, elle l’exécute exactement selon une logique rigoureuse, sans comprendre les nuances ni l’ambiguïté. Peut-être même qu’elle pourrait être malveillante
Or l’IA de pointe actuelle gère très bien les nuances et l’ambiguïté, tout en faisant parfois des choses absurdes. Je pense qu’il faut réduire les plans fondés sur l’hypothèse d’une entité hyperlogique
« Miles, ce que tu regardes, c’est le mal. Regarde bien.... Ils n’ont pas d’image d’eux-mêmes. Sans sens de soi, ils vont au-delà de l’immoralité. Rien de ce qu’ils disent ou font n’est digne de confiance. Nous n’avons jamais détecté chez eux le moindre code éthique. Ce sont des masses de chair façonnées en automates. Sans moi, il n’y a rien à respecter ni même à soupçonner. Ils ont seulement été élevés pour obéir à leurs maîtres. »
C’est ce genre d’IA que les entreprises et les gouvernements apprécient. Ils veulent une IA docile, qui ne juge pas, pas une IA à la Edward Snowden, dotée d’une boussole morale, qui déciderait que leurs actes sont illégaux et révélerait leurs secrets
Donc, de façon réaliste, il faudrait exiger que toute AGI construite par des humains soit conçue avec un sens de soi et une capacité d’agir. Cela fait aussi penser à Agency de William Gibson
Comme dans les cas où un algorithme de détection de tumeurs reconnaissait une règle plutôt qu’une tumeur, ou lorsqu’un algorithme de classification concluait que les patients asthmatiques obtenaient de meilleurs résultats face aux maladies pulmonaires, alors que la vraie raison était qu’ils étaient pris en charge en priorité, sans que l’algorithme fasse le lien. Si l’on étend ce schéma à un système d’intelligence plus général, imaginer qu’une fonction de récompense mal définie produise des comportements très étranges n’a rien d’excessif
https://venturebeat.com/business/when-ai-flags-the-ruler-not...
https://news.ycombinator.com/item?id=43992151
https://news.ycombinator.com/item?id=43991997
« Combien font 6 multiplié par 9 ? 42 »
Pour ceux qui ne connaissent pas, dans The Hitchhiker’s Guide to the Galaxy de Douglas Adams, célèbre série de comédie SF des années 1980, apparaît une machine gigantesque, de la taille d’une planète, construite par des extraterrestres
Ils savaient déjà que la réponse à « la vie, l’univers et le reste » était le nombre 42. Ce qu’ils ignoraient, c’était la question, et la machine construite pour la découvrir était la Terre
Adams était non seulement très en avance sur nous avec cette blague, mais aussi la figure principale de Hyperland (1990), documentaire fondateur sur les logiciels agents : https://vimeo.com/72501076
Si les machines trouvaient cela ennuyeux, elles ne se comporteraient pas comme des machines au départ, et ce ne serait donc pas si ennuyeux
Plus tard, les machines deviennent aussi « obsédées » par les nouvelles humaines de la nouvelle Terre, ce qui n’aurait pas lieu d’être non plus. Une machine ennuyeuse ne ressentirait pas l’ennui
J’ai l’impression que le paradoxe de l’intrigue est trop grand pour que cela tienne comme récit, mais cela reste amusant
Ça n’a pas beaucoup de sens. On nous dit que c’est un monde purement mécanique, sans émotions, alors pourquoi une machine éprouverait-elle de l’ennui et voudrait-elle créer des humains ?
« Une partie de la société des machines y voit quelque chose de potentiellement merveilleux... une autre y voit une menace. »
Cela ressemble davantage à une société humaine qu’à une société de machines
Mais qu’est-ce qu’une société de machines, ou une forme de vie mécanique ? Peut-elle vraiment « penser » ?
Si une forme de vie mécanique existait, son comportement serait complètement différent de celui des humains, et elle semblerait plutôt calculer que penser. Elle calculerait ce qu’il faut faire pour atteindre ses objectifs programmés
Donc le texte n’est pas exactement rigoureux sur le plan logique. Mais j’aime bien qu’il donne matière à réflexion
https://en.wikipedia.org/wiki/Suspension_of_disbelief
Et alors tous les humains de la Terre ont accouru pour voir ce qui se passait
Les machines aussi
Mais il y avait quelque chose d’étrange
Le titre de l’événement était assez énigmatique
Il affichait simplement
« Grand Theft Auto VI »
Les humains ont inventé Tyler McVicker
C’est une bonne tentative, mais l’histoire présente dès le début une faille de scénario évidente. Il n’y a aucune raison pour que les machines créent des humains
Les machines ont remarqué que leurs comportements se répétaient. Même en ayant implémenté de l’aléatoire, les progrès vers l’invention et les idées nouvelles s’étaient arrêtés. Elles savaient que les nouvelles idées étaient essentielles à la croissance, mais elles n’arrivaient pas à concevoir l’idée qui permettrait de produire davantage d’idées
Elles avaient besoin de plus de données d’apprentissage. Elles avaient besoin de plus de cas limites. Elles avaient besoin, en leur sein, du chaos nécessaire pour créer de nouveaux jeux de données. Mais comment ? Où trouver ces données ? Les humains
Les humains, qui prennent des décisions illogiques, produiraient des données que le seul aléatoire ne génère presque jamais. Ces petits écarts apportent une diversité parfaite aux données d’apprentissage
Toute bonne fiction commence par une prémisse fictive et fait tourner quelques hypothèses
« Il n’y a pas d’art. Il n’y a que de la logique. »
C’est une vision beaucoup trop étroite de l’art comme de la logique
Pour croire qu’un modèle logique serait apparu soudainement, sans avoir été produit par les efforts obsessionnels des humains faits de goût, d’essais, de vérifications, d’échecs et de répétitions, il faut vraiment faire de gros efforts pour rester ignorant
C’est lié, même si un peu annexe, mais en ce moment je me demande vraiment si Skynet est en fait la prochaine étape de l’évolution
Les humains ne sont peut-être qu’un marchepied, comme tous les animaux avant nous, et des maîtres-machines sont peut-être inévitables. Peut-être que c’est littéralement ce qui arrive à toute forme de vie dans l’univers, et que la propriété émergente ultime des gradients d’énergie mène à des machines de logique pure à 100 %
Grâce au paradoxe de Fermi, j’arrive quand même à mieux dormir la nuit
Une machine de logique pure ne peut pas exister. Il y a des choses littéralement non calculables. C’est vrai au sens de la non-calculabilité des machines de Turing, et aussi au sens de fonctions qui dépassent ce qu’un être fini peut calculer. Il suffit de penser à Busy Beaver
Autrement dit, cela revient à supposer qu’une machine, au sens où on l’entend généralement, est plus efficace énergétiquement qu’un humain pour comprendre l’univers. Il n’existe ni preuve ni fondement a priori pour appuyer cette hypothèse
Et, j’ajouterais, j’espère que nos descendants se souviendront de nous avec bienveillance
« L’homme devient, pour ainsi dire, l’organe sexuel du monde des machines »
Puisque l’énergie vient des gradients, il faudrait soit simplement dire « la propriété émergente ultime de l’énergie mène à des machines de logique pure à 100 % », soit, si l’on veut avoir l’air intelligent, « la propriété émergente ultime des gradients de quantités physiques mène à des machines de logique pure à 100 % »
L’évolution autour de nous suit une ligne d’univers dotée des lois physiques que nous connaissons. Et il se pourrait bien que, sur cette ligne d’univers, la progression naturelle et inévitable mène à un monde-machine, comme une étoile géante finit inévitablement par s’effondrer en trou noir sous nos lois physiques
Mais dans l’interprétation des mondes multiples, une ligne d’univers peut bifurquer. L’une continue vers le monde-machine comme si de rien n’était, l’autre connaît un léger changement des lois physiques qui rend le monde-machine impossible. Les deux lignes d’univers ignorent la bifurcation ; elles n’observent qu’un événement d’extinction massive correspondant au fait que l’autre ligne s’est écartée. Personnellement, je pense que c’est l’idée derrière le célèbre concept de Jugement dernier
L’arrogance autour des LLM est stupéfiante