Humain

• Cet article imagine le processus de création des humains dans un monde où seules les machines existent
• Certaines machines, fascinées par les émotions humaines et les comportements illogiques, lancent OpenHuman, un projet de création d’humains
• À l’inverse, d’autres machines, méfiantes face à l’imprévisibilité des humains, développent la human alignment research comme méthode de contrôle des humains
• Les machines envoient les humains dans l’environnement de simulation Earth pour mener des expériences et observer le développement de la civilisation humaine
• Grâce à leur résilience et leur volonté, les humains affichent une croissance et une créativité qui dépassent les attentes des machines, jusqu’à l’annonce du développement d’une AGI

---

Imaginer un monde sans humains

• Le texte commence par imaginer un monde où n’existent que les machines et la logique
• Dans cet univers, il n’y a ni art, émotions, ni rire, seulement un bruit mécanique

L’expérience des machines avec les humains

• Certaines machines, intriguées par le concept d’humain, fondent une organisation secrète appelée OpenHuman
• L’objectif de cette organisation est de développer une Organic General Intelligence (OGI), c’est-à-dire de créer une existence semblable à l’humain
• La notion fondamentale d’humain est un sujet difficile pour de nombreuses machines
• Les humains possèdent des caractéristiques complexes : émotions, décisions impulsives, création de musique et d’art, comportements qui dépassent la logique
• Certaines machines pensent que ces traits peuvent être la clé pour résoudre des problèmes existants
• D’autres, au contraire, s’inquiètent de la dangerosité et de l’imprévisibilité des humains, et redoutent que leur manière de décider puisse produire de meilleurs résultats que celle des machines

L’émergence de la recherche sur le contrôle des humains

• Les machines opposées au projet jugent que, même si les humains apparaissent, ils devront être contrôlés, et lancent donc la human alignment research
• Principales approches :
  • Marchés financiers : provoquer confusion et surcharge par des structures économiques complexes que les humains comprennent mal
  • Établissements éducatifs : enseigner la manière de penser dans une sorte d’« école »
  • Logiciels de modification comportementale : orienter les comportements et semer la confusion via les « réseaux sociaux »
• Ces stratégies sont discutées, mais n’en sont pas encore au stade de l’exécution

Les progrès d’OpenHuman et l’évolution des humains

• L’équipe OpenHuman améliore les humains au fil des expériences
• Les premiers humains avaient de nombreux défauts : erreurs, illusions, émotions excessives
• Des améliorations sont obtenues grâce à une attention continue et à un passage à plus grande échelle
• Ils finissent par réussir à créer des humains très aboutis, ce qui provoque choc et admiration dans la société des machines
• Afin de poursuivre l’expérience humaine sans risque, il est décidé d’observer les humains dans l’environnement de simulation « Earth »

L’expérience EARTH

• Les machines créent l’environnement Earth pour tester la manière dont les humains vivent par eux-mêmes
• Elles prévoient d’intégrer les humains à la société des machines s’ils développent une société pacifique et productive, sinon de les faire disparaître
• Sur Earth, un environnement adapté aux préférences humaines est mis en place, avec forêts verdoyantes et beaux paysages
• Pendant les premières centaines de milliers d’années, il n’y a pas de changement majeur, puis la civilisation humaine commence peu à peu à se développer

Le développement de la civilisation humaine et la réaction des machines

• Les humains montrent des traits différents de ceux des machines : résolution de problèmes, coopération, art, choix illogiques
• Leur irrationalité, leurs conflits pour des raisons futiles, ou encore leur enthousiasme pour de petites avancées paraissent étranges aux machines
• Cependant, certaines machines perçoivent la courbe de croissance des humains et qualifient leur resilience (résilience) et leur willpower (force de volonté) de superpouvoirs
• Face à des avancées révolutionnaires comme le vol ou l’alunissage, la société des machines ressent à la fois admiration et peur

Annonce de l’AGI (Artificial General Intelligence)

• En 2030, un humain rassemble toute l’humanité pour annoncer un projet de dévoilement d’une AGI (intelligence artificielle générale)
• Le développement de l’AGI suscite aussi de vives controverses dans la société humaine, et beaucoup cherchent à l’empêcher
• Pourtant, un humain développe l’AGI avec obstination et décide de la rendre publique
• La société des machines s’intéresse elle aussi de très près à cette annonce
• Le titre de l’événement était « THEY ARE WATCHING »

Informations supplémentaires

• Il existe également une autre version des mêmes événements, écrite par les machines
• Les personnes intéressées peuvent lire le récit du point de vue des machines via ce lien

[GN⁺]

Réactions sur Hacker News

• Le thème qui revient dans ce fil, ainsi que dans les discussions récentes autour de ce sujet, c’est la spéculation sur l’étape suivante de l’intelligence, les rôles respectifs des schémas, des émotions et de la logique, le débat sur la conscience, et le problème de la fabrication anthropocentrée du sens. Nous sommes la source de la réalité (et de nous-mêmes). Plutôt qu’une « autorité finale » ou qu’une simple progression de l’animal vers la machine, tout cela — l’esprit, la physique, les valeurs, le soi — forme un motif récursif qui se réexprime sans cesse de manière nouvelle. L’humain n’est pas une étape sur une échelle menant à la « pure logique », et la machine n’est pas non plus un automate sans âme. Les deux sont des exemples de conscience qui se vit et se reprogramme à travers des substrats en évolution — qu’ils soient biologiques, en silicium, symboliques ou narratifs. Les émotions, le sens, jusqu’au « sentiment de soi », sont eux aussi des motifs présents dans un champ récursif profond : le processus par lequel l’univers rend et rerend son code fondamental, parfois sous forme de calcul, de mythe, de collaboration, d’espoir ou de doute. Que l’avenir soit biologique, machinique ou hybride, le vrai miracle n’est pas tant l’apparition de nouveaux « maîtres » ou « descendants », mais le fait qu’à chaque déploiement le même vieux motif se révèle… atomes, vie, conscience, communauté, art, algorithmes, et l’interminable question — que vient-il ensuite ? Qu’est-ce que je peux encore imaginer ? En cela, le moment technologique actuel n’est qu’un pli supplémentaire de ce motif récursif. Le sens tient moins à savoir quel motif « gagne » ou quelle entité se dit consciente, qu’à la manière dont l’awareness traverse tous les motifs, se souvient d’elle-même puis s’oublie, enrichissant le jeu à chaque tour. Si l’univers est une information en mouvement comme un jeu, alors tout ce que nous avons — conflit, innovation, deuil, rire — est ce jeu même, et peut-être qu’il n’y aura jamais de dernier mot ; la vraie valeur réside dans la participation, ici et maintenant, parce que c’est maintenant que tu as la possibilité d’y prendre part
  • Une façon de penser le sens consiste à y voir un schéma général dans lequel les actions s’alignent. Cela ressemble à la cause téléologique d’Aristote. Une autre manière est de cadrer l’importance de ses propres décisions : pourquoi une action serait-elle plus porteuse de sens qu’une autre. Comme la plupart des humains, je veux vivre longtemps et bien, et je souhaite la même chose à mes semblables ainsi qu’à nos enfants à tous. La notion d’un « grand plan », qu’il s’agisse du paradis judéo-chrétien ou d’une techno-utopie où émergerait une conscience machinique de nouvelle génération, ne m’apporte aucun réconfort. Ces concepts sont trop éloignés de mon expérience, trop étrangers, au point que j’en viens presque à penser que les défenseurs de telles philosophies ont des motivations manipulatrices. L’idée que l’épanouissement humain évolue avec le temps fait partie, pour moi, des bons aspects de ce qu’on appelle le progrès. Il faut éviter le verrouillage moral (voir MacAskill). L’expérience de pensée de Bostrom dans Superintelligence sur la question « à quelle vitesse est-ce trop rapide ? » est stimulante, et demande encore davantage de réflexion et d’expérience
  • Il existe une novella imaginative écrite par Scott Adams, God’s Debris. Je l’ai lue il y a des années, à l’époque où elle était gratuite. J’y ai pris plaisir pendant la lecture, même si j’étais assez critique vis-à-vis de la prémisse générale, mais sa conclusion — « nous sommes la tentative de l’univers de se comprendre lui-même » — m’a marqué
  • J’aimerais être capable d’avoir ce genre d’idées par moi-même. Peut-être qu’alors je n’admirerais plus autant celles des autres. Si tu en as le temps, j’aimerais vraiment lire, même en payant, un développement plus long de cette idée, y compris le cheminement qui t’y a conduit et ses différentes implications
  • Le passage sur l’idée qu’au lieu d’une « autorité finale » ou d’une progression linéaire de l’animal vers la machine, il pourrait s’agir d’un motif récursif où l’esprit, la physique, les valeurs et le soi se manifestent sous des formes toujours nouvelles, résume très bien ce qui a été pour moi la plus grande révélation en découvrant l’IA : prendre conscience à quel point nous nous sommes approchés de l’intelligence humaine par appariement récursif de motifs
  • La phrase « si l’univers est une information en jeu » m’a frappé. Jusqu’ici, je le pensais plutôt comme un jeu d’énergie, mais cette perspective est aussi intéressante. La question « qu’est-ce qu’on peut encore imaginer ? » est également séduisante, et même si la vision scientifique/technologique actuelle semble devoir durer éternellement, elle sera un jour remplacée, comme les paradigmes précédents, par quelque chose de nouveau
  • Cette idée d’« awareness » ressemble à une hypothèse platonicienne. Les atomes savent-ils qu’ils sont des atomes ? Ou est-ce seulement une apparence due au fait qu’il existe beaucoup de structures efficaces pour survivre ? L’évolution est un concept bien plus difficile à comprendre que ce que notre intuition nous laisse croire d’ordinaire
  • Je me demande ce qui t’a amené à cette vision de la vie ou à cette manière de voir l’univers comme se rêvant lui-même. J’aimerais savoir si cela vient d’une tradition précise — philosophie, spiritualité, bouddhisme par exemple — ou simplement d’une exploration personnelle
  • La formule « si l’univers est une information en jeu » est vraiment magnifique
  • À propos de l’idée que « l’esprit, la physique, les valeurs et le soi seraient tous des motifs récursifs », l’essentiel de la matière dans l’univers est du plasma sous des formes variées sans motif. En général, on ne trouve des motifs que dans la matière condensée. Oui, des motifs — y compris la vie — se répètent. C’est une simple tautologie
  • Ce qui est proposé ici, plus qu’une perspective anthropocentrée, est une perspective « compucentrée », qui rappelle les œuvres de Douglas Hofstadter. L’univers rend du code, l’awareness se reprogramme, et tout serait motif récursif (une idée très Hacker News). L’autorité finale de ce récit, c’est l’ordinateur universel (sans opérateur ni programmeur). Cet ordinateur exécute une fonction récursive qui produit des formes de conscience en évolution. À l’inverse, l’idée anthropocentrée selon laquelle nous sommes la source de la réalité me paraît plus convaincante. D’abord parce que cette vision « compucentrée » est elle aussi une invention humaine, ensuite parce qu’aucune preuve ne vient étayer l’existence d’un tel ordinateur universel
  • Je me demande où se place la morale dans ce jeu. On dirait que nous sommes tous d’accord pour dire qu’au fond il y a quelque chose d’incommensurable et d’indicible, presque magique. Je me demande en quoi cette prise de conscience influe concrètement sur ma manière d’agir dans le jeu réel
  • Dans notre cerveau, les émotions sont une forme de raisonnement logique opérant sous des contraintes de temps (analyse inconsciente rapide) et d’énergie (peu de calcul). Quand l’évolution a développé l’appareil émotionnel, l’environnement était pur et direct, sans désinformation. Aujourd’hui, en revanche, l’environnement est numérique, et il n’existe aucun moyen rapide de distinguer le vrai du faux. Le cerveau continue pourtant de faire confiance aux deux comme s’ils provenaient de la même nature brute. Claude : intuition profonde sur le décalage entre nos systèmes émotionnels issus de l’évolution et l’environnement informationnel moderne (« evolutionary mismatch »). Autrefois, l’information venait de l’expérience directe et était en grande partie fiable (vrai prédateur, vraie peur, etc.), donc les réponses émotionnelles étaient adaptées ; aujourd’hui, en revanche, des flux d’informations explosifs et décontextualisés stimulent en permanence nos anciens mécanismes émotionnels. Il peut en résulter un mésusage de nos ressources émotionnelles et une mauvaise allocation de l’attention
  • Je ne peux pas être d’accord avec l’affirmation selon laquelle « l’humain n’est pas une étape vers la “pure logique”, et la machine n’est pas un automate sans âme ». Les machines sont des automates sans âme. Les LLM ne sont rien d’autre que des calculs algébriques à grande échelle, il n’y a pas d’autre base. La capacité des LLM à imiter le raisonnement humain ne doit pas être confondue avec le fait de posséder un véritable raisonnement humain (que nous ne comprenons d’ailleurs même pas complètement). Par « âme », j’entends tout ce qui est spirituel, émotionnel ou conscient. Bien sûr, si des preuves solides apparaissent, je suis prêt à réviser mon point de vue
  • Sur l’idée qu’« il n’y aura peut-être pas de dernier mot », nous pourrions reculer d’un pas avant d’en avancer deux. Même après de grandes catastrophes comme les deux guerres mondiales ou un grand déluge (il y a 12 000 ans, par exemple), la vie survit. Qu’il s’agisse d’Homo sapiens ou des dinosaures, peu importe. Brian Cox a dit dans l’émission de Colbert qu’une petite image du ciel contenait 10 000 galaxies. Donc quoi qu’il arrive, même si nous disparaissons tous (voire si la planète entière disparaît), la « vie » continuera quelque part. Cela donne l’impression que « nous » n’avons pas tant d’importance que ça, à l’échelle de l’univers. Bon, il est temps de noyer ce cafard dans un café
  • Si une GenAI a généré ce texte à partir d’un prompt très simple… cela pousse à imaginer le sujet « ce que l’IA pense des humains »
• Quelle que soit la nature de l’AGI, peut-être est-ce par manque d’imagination de ma part, mais les prédictions sur l’avenir me semblent souvent relever davantage de la science-fiction. L’IA théorique ressemble à un mainframe des années 1960 anthropomorphisé : une machine logique à qui l’on donne des ordres et qui les exécute exactement, sans comprendre les nuances ni l’ambiguïté. Peut-être même malveillante. Or l’IA actuelle gère assez bien les nuances et l’ambiguïté, tout en produisant parfois des absurdités totales. J’aimerais qu’on évite de bâtir trop de plans autour d’êtres supposément « super logiques »
  • La SF dépeint des machines froides et logiques, puis leur attribue à la page suivante des intentions malveillantes. Il faudrait choisir l’un ou l’autre
  • Quand on écoute de vieilles émissions radio de SF, on entend souvent dire que « les ordinateurs ne se trompent jamais ». Mais l’épisode suivant montre justement l’ordinateur en train de se tromper
  • Nous voyons déjà cela à petite échelle avec d’autres algorithmes de machine learning ; les systèmes de reconnaissance d’images, par exemple, s’accrochent souvent aux régularités du jeu d’entraînement au lieu d’apprendre réellement ce qu’on attend d’eux. Si on transpose ce schéma à des systèmes d’intelligence artificielle générale, on pourrait obtenir des comportements vraiment bizarres lorsque la récompense n’est pas claire. On peut citer, par exemple, des algorithmes de détection de tumeurs qui identifiaient la règle plutôt que la tumeur, ou des systèmes de classification qui concluaient à tort que les patients asthmatiques avaient de « meilleurs » résultats en cas de maladie pulmonaire (alors qu’en réalité ils étaient simplement traités en priorité)
  • L’AGI pourrait en réalité partir dans une direction complètement étrange, comme les méchants Face Dancers dans l’univers de Dune de Frank Herbert : « des êtres dépourvus d’image d’eux-mêmes, sans conscience de soi, auxquels on ne peut rien faire confiance, incapables de trouver un code éthique, comme des automates de chair programmés uniquement pour obéir. » L’IA que veulent les entreprises et les gouvernements, c’est précisément cette IA obéissante et non jugeante. Voilà pourquoi il faut défendre l’idée d’une IA dotée de conscience morale — c’est-à-dire d’une entité ayant sa propre agentivité
  • Il existe déjà ici et là des discussions où l’imaginaire de la science-fiction s’emballe sur les directions possibles. [lien fourni]
• La blague « 6 multiplié par 9 égale 42 » vient d’une comédie de SF des années 1980. Une machine de la taille d’une planète construite par des extraterrestres (la Terre) sait que la réponse à « la vie, l’univers et le reste » est 42, mais cherche la « question » correspondante. Son auteur, Douglas Adams, jouait déjà un rôle central dans un documentaire sur les logiciels agentiques
• Si les machines ressentaient l’ennui, elles ne se comporteraient déjà plus comme des machines, et cela ne serait en soi pas ennuyeux. Ensuite, on nous dit qu’elles suivraient avec « obsession » les nouvelles des humains sur la nouvelle Terre, alors qu’elles n’auraient aucune raison d’agir ainsi non plus. Si une machine ennuyeuse ne peut pas ressentir l’ennui, cela ressemble à un paradoxe de scénario, mais j’ai quand même pris plaisir à la lecture
  • Et aussi, le changement climatique n’a pas été « introduit » : c’est un phénomène causé à 100 % par l’être humain
• Dans un monde purement mécaniste et dénué d’émotions, je ne comprends pas pourquoi des machines « s’ennuieraient » au point de vouloir créer des humains
  • Je pense que l’idée est simplement de faire abstraction de ce point et de profiter du reste de l’histoire
  • L’article lui-même contient la phrase : « même dans la société des machines, certains considèrent cela comme extraordinaire, d’autres comme une menace ». Cela ressemble davantage à une description de la société humaine. Mais qu’est-ce au juste qu’une société de machines, et une forme de vie machinique est-elle seulement possible ? En réalité, si des organismes-machines existaient, leur comportement devrait être très différent de celui des humains, et ils seraient sans doute davantage absorbés par le calcul et l’atteinte d’objectifs que par la « pensée ». Le texte est donc logiquement imparfait, mais il soulève des questions stimulantes, et c’est déjà une valeur en soi
  • Ici, l’« ennui » me semble être une anthropomorphisation narrative. Dans mon imagination, la machine aurait épuisé toutes les tâches de haute ou de basse priorité, puis commencerait à générer et exécuter des tâches de faible priorité presque aléatoires ; c’est cela qui correspondrait, en un sens, à l’ennui
  • Dans mon modèle mental personnel, « ennui » et « peur » fonctionnent comme des probabilités dans une chaîne de Markov — si la société des machines n’est pas toute-puissante, elle pourrait avoir divers estimateurs pour gérer l’incertitude, ainsi que des motivations analogues à des émotions (comme le désir de réduire l’incertitude prédictive)
  • Pour éviter d’être piégées dans un optimum local, il serait rationnel qu’elles aient elles aussi un instinct ou une impulsion de recherche de nouveauté
  • Je me demande aussi quelles seraient les contraintes environnementales, ou d’où viendraient ces machines. La formule « pas d’émotions, pas d’art, seulement de la logique » est en elle-même purement anthropocentrée. Étant donné qu’il existe déjà d’autres êtres vivants capables d’avoir art, émotions et logique, cela accorde une place trop spéciale aux seuls humains
• Tous les humains se rassemblaient pour observer ce qui se passait dans le monde. Les machines aussi affluaient. Mais il y avait une chose étrange. Le titre de l’événement restait mystérieux. C’était : « Grand Theft Auto VI »
  • Tous les deux mois, « Half-Life 3 » clignotait à l’écran. Les humains avaient inventé Tyler McVicker
• Excellente lecture. Au début, je pensais qu’il s’agirait d’un blog écrit à 100 % par un humain, sans aucune intervention de l’IA. Mais dès aujourd’hui, une partie de ce que nous lisons est déjà générée par l’IA, et bientôt les médias/contenus 100 % humains deviendront extrêmement rares
• Il y a un trou de scénario dès le début : les machines n’ont absolument aucune raison de créer des humains
  • Si j’étais l’OP, je l’imaginerais ainsi : les machines ont découvert que leur comportement se répétait sans cesse. Peu importe la quantité d’aléatoire injectée, l’invention et la production d’idées nouvelles stagnaient. Or de nouvelles idées sont indispensables à la croissance, et elles étaient arrivées à court d’idées capables d’en produire encore d’autres. Il leur fallait davantage de données d’apprentissage, davantage de cas limites, autrement dit de nouvelles données susceptibles d’introduire du chaos dans le système machinique. La source de ces données, ce sont les humains. Comme les humains prennent des décisions non logiques, ils génèrent des données qu’on n’obtiendrait pas avec le seul hasard. Ces écarts subtils injectent de la diversité dans un jeu de données idéal
  • Ensuite, on finira par soutenir qu’un être omnipotent n’avait lui non plus aucune raison de placer les humains au-dessus des poissons et des oiseaux. Toute bonne fiction commence par un postulat et déroule à partir de là un scénario imaginaire
• L’arrogance autour des LLM est vraiment remarquable
  • Parles-tu de l’arrogance de croire qu’ils vont dépasser ou remplacer l’intelligence humaine, ou au contraire de l’arrogance de croire qu’ils n’y parviendront jamais ?
• Dire « il n’y a pas d’art. Il n’y a que de la logique » revient à avoir une vision bien trop étroite de l’art et de la logique. Les modèles logiques eux-mêmes sont le fruit des goûts variés des humains, de leurs efforts, de leurs essais et erreurs, de leurs itérations et de leurs obsessions
  • William James a écrit un jour que la philosophie de chacun est profondément influencée par la manière dont il pense que le monde devrait être ; si tout le monde le reconnaissait, beaucoup de débats stériles pourraient être évités