Pourquoi y a-t-il autant de cultes dans la communauté rationaliste ?

 (asteriskmag.com)
1 points par GN⁺ 2025-08-13 | 1 commentaires | Partager sur WhatsApp
  • De petits groupes de croyances étranges au sein de la communauté rationaliste sont apparus à plusieurs reprises, et certains ont été liés à de véritables actes de violence
  • Ce phénomène vient du fait que les contenus mettant l’accent sur les méthodes de pensée rationnelle (Sequences) promettent une technique pour « mieux penser » sans pouvoir, en pratique, tenir réellement cette promesse
  • Les personnes en situation de vulnérabilité ont davantage de chances d’être happées par des groupes nocifs au sein de la communauté, et il leur est souvent difficile d’en sortir car elles se retrouvent coupées de l’extérieur
  • Le lien entre croyances et comportements au sein du groupe, le fait de prendre les idées très au sérieux et l’isolement social peuvent provoquer de graves dysfonctionnements
  • Il est difficile d’empêcher totalement l’apparition de cultes rationalistes, mais maintenir un lien avec la réalité extérieure, une diversité sociale et des structures organisationnelles saines peut en réduire les effets négatifs

Introduction

  • La communauté rationaliste est née autour de la série de billets de blog Sequences, écrite par le chercheur en IA Eliezer Yudkowsky
  • Cette série traite de la manière de penser rationnellement, et l’on pourrait donc s’attendre à ce que les membres de la communauté soient des modèles d’esprit critique et de scepticisme
  • Pourtant, on a vu émerger dans la communauté des groupes étranges et nuisibles : petits cercles prétendant communiquer avec des démons, affaires de violence, groupes provoquant des traumatismes
  • Parmi les exemples connus figurent les Zizians, un groupe végan, anarchiste et transhumaniste, ainsi que Black Lotus et Leverage Research
  • L’auteur est lui-même un insider de la communauté, ce qui lui a permis, grâce à des entretiens approfondis, d’obtenir un niveau d’accès et de franchise inédit

Le problème des jeunes rationalistes

  • Dans l’ensemble, la communauté rationaliste fonctionne, mais certains groupes présentent des structures gravement dysfonctionnelles

  • Sequences promet « l’art de mieux penser » et un avenir hors du commun, mais en réalité cette promesse est impossible à tenir

  • De nombreuses personnes interrogées soulignent que ce contenu fournit la matière première des cultes

  • Eliezer Yudkowsky est peu enclin à construire une identité de groupe, mais les personnes arrivant de l’extérieur aspirent souvent à être transformées par une figure d’autorité et à accomplir une mission héroïque

  • Le dysfonctionnement de certains groupes vient d’un leader (par exemple Brent Dill dans Black Lotus), ou bien une dynamique toxique émerge spontanément par la base (comme chez Leverage Research)

  • Les personnes vulnérables deviennent plus facilement prisonnières de groupes séparés du reste du monde, et ont aussi plus de mal à se sortir de situations problématiques

  • Au départ, la communauté aidait les membres les moins mûrs, mais avec le temps les personnes ayant réussi ont eu tendance à retirer leur soutien

  • Les nouveaux venus privés de soutien deviennent des cibles faciles pour des sous-groupes nocifs

Le sérieux des croyances

  • Au sein des groupes dysfonctionnels, plus encore que l’isolement social ou la manipulation par un leader, ce sont les croyances elles-mêmes qui constituent la cause centrale

  • Par exemple, chez les Zizians, une théorie de la décision radicale — selon laquelle il faut répondre inconditionnellement aux menaces — s’est directement traduite en actes

  • Leverage Research cherchait à comprendre la structure intérieure de ses membres et à résoudre leurs problèmes à l’aide d’une théorie unifiée de la psychologie appelée Connection Theory

  • En essayant d’aligner leur comportement sur ces modèles psychologiques simplifiés, certains ont même développé des problèmes mentaux

  • Brent Dill poussait les membres à interpréter le monde et les autres de manière cynique, ce qui a nourri la méfiance interne et constitué la forme de nuisance la plus fondamentale du groupe

  • En refusant de faire confiance aux experts et en voulant penser par eux-mêmes, les rationalistes courent paradoxalement le risque de déléguer leur pensée à un leader charismatique

  • Le fait de « prendre les idées au sérieux » et l’« agency » sont à l’origine des qualités, mais, mal appliqués, ils peuvent mener à des comportements dangereux hors des normes

Vigilance face à la psychologie

  • Dans les groupes problématiques, de longues discussions intenses sur la philosophie, la psychologie et les relations internes au groupe faisaient partie du quotidien

  • À l’inverse, dans les groupes résidentiels sains, l’attention se portait plutôt sur des activités extérieures ou des réalisations concrètes (programmation, jeux, etc.)

  • On trouve aussi des cas où des membres de Black Lotus ont gagné en confiance en assumant des rôles réellement importants

  • Chez Leverage Research également, les sous-groupes travaillant sur des projets concrets (comme le développement crypto) étaient plus sains

  • L’excès de discussions émotionnelles internes et d’analyse psychologique aggrave les dysfonctionnements, l’anxiété, l’isolement et la déconnexion du réel

  • Dans un groupe sans objectif concret tourné vers l’extérieur, plus les discussions internes s’éternisent, plus les dynamiques nocives s’amplifient

  • Lorsque l’exploration prolongée de la psychologie de groupe et des émotions devient la norme, c’est le signe que quelque chose va mal, même s’il ne s’agit pas d’un culte

Les risques du conséquentialisme

  • Lorsqu’une vision conséquentialiste du monde est prise au sérieux, elle peut justifier une loyauté excessive envers un leader ainsi que le sacrifice
  • Dans la communauté rationaliste, le discours fréquent sur le risque d’extinction lié à l’AGI provoque tensions et obsessions au sein des groupes
  • Les personnes qui n’ont pas les capacités nécessaires pour contribuer à l’IA ont davantage tendance à s’accrocher à des projets alternatifs ou à de petits groupes, et peuvent ainsi glisser vers le dysfonctionnement
  • Une grande cause (comme une crise menaçant l’humanité) peut conduire à attribuer une importance excessive jusque dans les affaires du quotidien
  • Alors qu’en réalité, surmonter une crise repose sur une succession de tâches simples et répétitives, certains poursuivent un fantasme héroïque qui ne correspond pas à cette réalité

Vigilance face à l’isolement

  • L’isolement social, le conformisme interne au groupe et la coupure avec l’extérieur sont au cœur de l’aggravation des dysfonctionnements
  • Le fait que les membres ne sortent pratiquement jamais de la maison ou du bureau est l’un des signes les plus sûrs qu’on a affaire à un culte
  • Une réalité définie uniquement de l’intérieur, l’exclusion des critiques et la surveillance mutuelle mènent à la pensée de groupe et à un excès de croyance
  • Le fait de vivre dans la même maison et de laisser le groupe pourvoir à tous les besoins affaiblit l’autonomie et les capacités à vivre dans le monde extérieur
  • Le secret pose aussi problème, y compris entre sous-groupes internes qui ne partagent pas l’information, et les révélations tardives comme le manque de communication alimentent un cercle vicieux

Conclusion et recommandations

  • Les dysfonctionnements de la communauté rationaliste ne sont pas forcément plus graves qu’ailleurs, mais ils apparaissent de manière « plus intéressante »
  • La tendance propre à cette communauté à « transformer les croyances en actions » et à « vivre différemment de la société existante » en est l’une des causes, mais on ne peut pas l’éliminer complètement
  • À l’échelle individuelle comme communautaire, les stratégies suivantes peuvent aider à réduire les dysfonctionnements

Recommandations pour les individus

  1. Si les longues discussions sur les relations humaines ou les émotions au sein du groupe se poursuivent sans fin, c’est un signal d’alerte
  2. Privilégier des activités avec des critères objectifs de réussite et créer des points de contact avec la réalité extérieure
  3. Maintenir des liens avec des groupes sociaux variés
  4. Séparer travail, lieu de vie et parcours thérapeutique
  5. Même si tout le groupe partage une croyance, il faut solliciter l’avis de personnes extérieures ou une vérification indépendante
  6. Si un long raisonnement abstrait aboutit à « on peut faire du mal aux autres » ou à « tout le reste compte moins que cette mission », il faut s’en méfier
  7. Participer à un groupe très exigeant quand on n’a pas d’autre option doit être envisagé avec prudence

Recommandations pour la communauté

  • Maintenir des liens avec les membres entrés dans des groupes dysfonctionnels et leur offrir une communication normale plutôt que des reproches
  • Donner aux nouveaux membres des attentes réalistes et réfléchir à des moyens d’élargir le soutien concret qui leur est apporté
  • Dire franchement qu’il n’est pas facile d’entrer dans des domaines comme la sécurité de l’IA, et ne pas dévaloriser les personnes qui ne peuvent pas y contribuer
  • Encourager la discussion autour des « lignes rouges éthiques » (ce qu’il ne faut clairement pas faire)

À lire aussi

1 commentaires

 
GN⁺ 2025-08-13
Avis Hacker News

  • Article très intéressant. Il y a 15 ans, je pensais que ces rationalistes autoproclamés étaient juste des gens qui écrivaient de longues fanfictions, mais j’en suis maintenant à penser que certains sous-groupes en sont arrivés au meurtre et même à l’exorcisme de démons. C’est un peu comme si un lecteur d’une œuvre de Hubbard dans les années 1950 voyait, quelques décennies plus tard, Hubbard diriger une immense religion. L’article essaie de trouver, tant bien que mal, des aspects positifs à ces groupes en mentionnant l’idée que « les rationalistes ont eu les bonnes positions au début de la pandémie de COVID et ont été les premiers à avertir du danger de l’IA ». Mais j’ai l’impression qu’être d’accord avec l’OMS ou penser qu’une IA façon Skynet est dangereuse n’a rien de spécial. Les exemples de réussite des rationalistes présentés dans l’article me font penser au dicton selon lequel même une horloge arrêtée donne l’heure juste deux fois par jour

    • L’OMS n’a déclaré la pandémie que le 11 mars 2020. Certains rationalistes avaient averti plus tôt que cela (comme d’autres personnes d’ailleurs). J’ai lu des avertissements sur des blogs rationalistes et j’ai ensuite posté sur d’autres forums à propos du COVID, où j’ai été perçu comme quelqu’un qui avait donné une alerte importante. Je ne sais pas si cela a réellement fait une grande différence
      https://pmc.ncbi.nlm.nih.gov/articles/PMC7569573/

    • Ce paragraphe m’a tellement déçu que j’ai arrêté de lire à ce moment-là. Ces deux exemples sont faux, et c’est triste que ce soit le meilleur que l’article ait trouvé pour défendre le rationalisme. La menace de l’IA n’était pas réelle, et ce courant de pensée a surtout contribué à retarder la publication des LLM de Google et à faire en sorte que les modèles d’image ne dessinent que des robots. Mais aujourd’hui, on peut faire tourner des modèles bien meilleurs sur un ordinateur portable personnel, et il n’y a eu ni chômage de masse ni effondrement. L’IA est plutôt bienveillante. Et sur la question des masques aussi, quels que soient les données et les graphiques que je regarde, je ne vois aucune trace d’un effet significatif. Des pays qui ne portaient quasiment aucun masque se sont mis à en porter du jour au lendemain, et pourtant les courbes de contamination n’ont pas changé. Le virus peut passer par les interstices du masque, ou au moment où on l’enlève, voire par les yeux. Au final, les rationalistes n’ont eu raison sur rien. C’est vraiment décevant

  • Cet article est magnifiquement écrit et s’appuie sur une vraie recherche originale. C’est dommage que la plupart des commentaires se résument à des réactions improvisées du genre « les rationalistes lol ». Il y a beaucoup de choses que l’article traite déjà de manière plus riche et plus fine, mais on voit peu de commentaires qui en tiennent compte

    • Asterisk est de fait un « magazine rationaliste », et l’auteur est un blogueur rationaliste connu. Donc il n’est pas surprenant que cet article soit presque le seul cas où ce phénomène soit traité avec équité. D’ordinaire, les gens extérieurs disent que le rationalisme est une secte et qu’Eliezer Yudkowsky est un gourou, mais je pense que cette vision n’a aucun sens

    • Après avoir lu ce genre d’article, je pense qu’il n’y a absolument rien de problématique à se dire « oui, c’est bien une secte ». Qu’ils croient aux vaisseaux spatiaux, aux démons ou à l’AGI n’a pas d’importance. Le vrai point important, c’est que lorsqu’un dirigeant isole ses membres de la société, c’est un signal d’alarme. Ce n’est pas une intuition particulièrement nouvelle ou exceptionnelle

  • L’un des problèmes que je ressens avec ce genre de groupe, c’est qu’ils énoncent avec énormément de confiance, parfois de façon agressive, des croyances qui paraissent logiquement cohérentes. Puis on découvre ensuite que les prémisses de base, les axiomes sur lesquels tout repose, sont en fait des fantasmes pratiquement jamais vérifiés. On voit ce phénomène partout, mais il me semble particulièrement grave dans ces communautés. Elles ont tendance à s’enfermer dans leur propre logique, et y participer devient un peu étouffant. Les gens vraiment intelligents que j’ai connus n’étaient souvent pas sûrs de ce qu’ils savaient. Quand quelqu’un arrive avec ses propres conclusions et trop de certitude, je trouve ça immédiatement suspect

    • Je ne pense pas que le problème vienne seulement de prémisses fausses. Les gens sont convaincus que chaque étape de leur raisonnement découle nécessairement de la précédente, alors qu’en réalité de petites failles s’accumulent à chaque étape et finissent par produire une fausse certitude. Les non-rationalistes ne manient pas forcément mieux la logique que les rationalistes, mais ils bénéficient au moins d’une certaine humilité intellectuelle

    • Il y a un profil de Curtis Yarvin dans le NYer que je recommande vivement. (Curtis Yarvin aussi utilise le « rationalisme » comme fondement de ses croyances.) La partie de la fin où il passe un long moment avec la figure idéologique qu’il admire le plus est particulièrement frappante
      https://www.newyorker.com/magazine/2025/06/09/curtis-yarvin-profile

      Internet a fait exploser ce type de groupes. J’imagine que c’est parce qu’en ligne on ne voit que des « idées », pas des « personnes ». En réalité, si l’on passe longtemps dans la même pièce ou sur une île avec des rationalistes fervents, on finit très vite par ne plus prendre leurs théories au sérieux, aussi intelligentes qu’elles paraissent à l’écrit

    • Je suis d’accord sur le fait que « quiconque est certain de quoi que ce soit mérite d’être suspecté ». C’est aussi pour cela qu’on appelle un escroc un conman en anglais. Il exploite habilement la croyance intuitive selon laquelle la confiance en soi serait forcément liée au fait d’avoir raison. Même sans vouloir escroquer, comment pourrait-on être réellement aussi sûr de soi ? En ignorant toutes les preuves contraires. Les gens qui savent vraiment quelque chose limitent toujours le contexte, donnent des explications prudentes avec des conditions du type « probablement », « si », etc. Ils généralisent rarement

    • « Chérissez ceux qui cherchent la vérité, méfiez-vous de ceux qui pensent l’avoir trouvée » — Voltaire

    • Il y a aussi eu beaucoup de débats autour de la valeur de l’argent futur. Voir « discount function » : certains, les soi-disant « rational altruists », fixent la valeur du futur à 1,0, tandis que le camp « drill, baby, drill » la place près de 0.
      Je pense qu’une fonction d’actualisation doit absolument inclure un terme de bruit représentant l’incertitude de la prévision. Plus on essaie de prédire loin dans le futur, plus le bruit augmente. Sans cela, on finit par résoudre les mauvais problèmes et par échouer. Si les Romains de l’Antiquité s’inquiétaient du manque d’espace dans les cimetières, et si l’épuisement de l’énergie ou la surpopulation ne se sont finalement pas produits, c’est parce que trop peu de bruit avait été intégré à la prévision
      https://en.wikipedia.org/wiki/Discount_function

  • J’ai rencontré Eliezer Yudkowsky il y a longtemps. Il m’a donné une brochure sur la rationalité, et le contenu paraissait être une blague, ou plutôt une satire de la prédication. On en a ri tous les deux. Je l’ai feuilletée quelques fois avant de la ranger dans une bibliothèque, et je n’aurais jamais imaginé que cette personne finirait par avoir une telle influence

    • Je pense que ces gens bénéficient d’un effet de halo. Quand on regarde leur parcours, il n’y a pas grand-chose qui justifie leur position actuelle. Si je me souviens bien, Eliezer Yudkowsky n’est-il pas classé parmi les Thiel babies ?

    • Pour moi, Eliezer Yudkowsky est surtout connu pour la fanfiction Harry Potter Harry Potter and the Methods of Rationality. Y a-t-il une autre raison pour laquelle il serait largement connu du grand public ?

  • J’ai l’impression que ces gens veulent faire de la philosophie, mais qu’ils trouvent humiliant, pour leur ego, de suivre une formation formelle. J’appelle ce phénomène le « syndrome du petit bocal ». J’aimerais qu’il existe un meilleur terme

    • Si les gens ne veulent pas suivre une formation formelle, c’est parce que la philosophie contemporaine elle-même semble assez inutile. Prenez par exemple l’affaire du viol de Duke en 2006 : les professeurs qui ont participé à l’hystérie venaient surtout des humanités, philosophie comprise, et presque aucun n’a changé d’attitude jusqu’à ce que le procureur soit lui-même inculpé. En revanche, ceux qui ont au moins un peu résisté sur cette question étaient des économistes, des scientifiques et des juristes. On peut comprendre qu’on n’ait pas envie d’entrer dans un milieu des humanités incapable de distinguer correctement le bien du mal

    • Je suis totalement d’accord ! Je suis un survivant de dix ans passés dans la philosophie académique. L’ambiance de cette communauté me donne l’impression de regarder un avion rempli d’étudiants de premier cycle être déposé sur Survivor Island avec une réserve infinie de pizza pockets et d’Adderall

    • Faut-il vraiment une formation formelle ? Lire directement les classiques — Platon, Socrate, Dostoïevski, Camus, Kafka, etc. — me paraît bien préférable à ce qu’ils font actuellement

  • « Beaucoup de rationalistes s’attendent à ce que le développement de l’AGI entraîne l’extinction de l’humanité sans un effort héroïque » « Ce type de croyance rend difficile de se soucier de quoi que ce soit d’autre. Si l’humanité est au bord de l’extinction, à quoi bon être infirmière, notaire ou romancier ? » Si on remplace l’apocalypse AGI par l’Enlèvement, cela ressemble beaucoup aux chrétiens fondamentalistes américains. Ils refusent de résoudre les problèmes environnementaux, économiques et sociaux parce qu’ils pensent que l’Enlèvement est imminent. Quand on tombe dans ce genre d’apocalyptisme, il est difficile de s’en sortir mentalement, et quiconque a connu des troubles anxieux apprend qu’il faut impérativement surmonter les imaginaires catastrophistes. Or, dans ce type de communauté, on se renforce mutuellement dans la croyance au désastre, au point de ne plus pouvoir sortir de cette boucle répétitive de catastrophe

    • Moi aussi, j’ai grandi dès l’enfance dans la peur que la Terre soit condamnée et dans la crainte d’être « emporté en enfer », si bien qu’aujourd’hui encore je gère mon anxiété avec énormément de rigueur. Cela ne venait pas d’un raisonnement logique, mais de la peur diffusée par toutes sortes de médias à la maison et dans la communauté autour de moi

    • La croyance en l’Enlèvement n’est pas une destruction pour les croyants, si l’on s’en tient au sens premier. L’apocalyptisme lié à l’IA est en réalité plus extrême. Et dans les faits, il y a peu de fondamentalistes qui abandonnent vraiment toutes les affaires du monde réel à cause de cette croyance

    • Beaucoup de gens pensent aussi que le changement climatique entraînera des conséquences terribles. C’est une croyance qui peut se défendre en soi et, de manière générale, la plupart des Américains finissent par croire de façon catastrophiste à au moins une chose. L’apocalyptisme AGI a une certaine logique interne. Je n’y adhère pas, mais comme système de croyance, c’est plus proche de la croyance dans le changement climatique

    • Si on remplace AGI par changement climatique, on obtient aussi un système de croyance très rationnel

  • Cette histoire me fait sans cesse penser à la scène du premier Avengers où Loki crie à la foule depuis les hauteurs : « Regardez, n’est-ce pas votre vraie nature ? » D’une certaine manière, j’ai l’impression qu’il y a une étrange forme de soulagement à ne pas avoir le choix. Un système rationaliste fondé sur la logique, incapable de tolérer l’ambiguïté, peut facilement partir dans une direction aberrante

    • Les humains ne sont pas des poulets, mais ils semblent aimer en douce les luttes de hiérarchie

    • Ils ont tendance à élaborer leur logique pour pouvoir faire ce qu’ils veulent déjà faire. J’y vois une version moderne de l’ancienne formule où Dieu les guidait

  • En tant que quelqu’un qui connaît bien les rationalistes, je dirais :

    1. s’il y a quelque chose à critiquer, eux-mêmes l’ont déjà critiqué et retourné dans tous les sens depuis longtemps (y compris le fait que leur nom est stupide). Cela ne veut pas dire qu’ils l’ont résolu
    2. ils lisent réellement énormément. Ce n’est pas un groupe naïf ou perdu ; au contraire, ils testent activement toutes sortes de défis inhabituels. Les expériences étranges qu’on peut vivre dans cette communauté sont vraiment surprenantes
    3. il existe aussi une sincère volonté de « faire le bien ». Vous avez peut-être entendu parler de groupes bizarres, inconfortables ou un peu effrayants, mais les projets gentils et admirables laissent moins de traces dans la rumeur.
      D’expérience, là où ils se trompent, c’est lorsqu’ils s’obsèdent pour des efforts qui dépassent les moyens. À la base de la plupart des projets rationalistes, il y a l’idée de repenser la souffrance ordinaire des gens et de trouver une solution pour que tout le monde puisse être heureux. Des gens plus cyniques ou plus réalistes diraient qu’il y aura forcément toujours quelqu’un d’insatisfait dans n’importe quel problème, mais les rationalistes veulent absolument franchir cette limite. Résultat, non seulement ils se burn-out eux-mêmes, mais ils finissent aussi par jeter les autres dans le mixeur. Dans un cas extrême, le groupe des Zizians en serait arrivé à conclure que « la plupart des humains n’ont pas d’âme, donc on peut rendre tout le monde heureux sans tenir compte des gens sans âme ». Dans des versions moins extrêmes, cela devient de l’idéalisme — des rêves irréalisables — ou une logique complètement coupée du réel. Le raisonnement ressemble à ceci : « s’il existe ne serait-ce qu’1 % de chance que cette expérience de pensée produise 90 quadrillions d’unités de souffrance, alors je dois consacrer ma vie entière à l’empêcher, et si toi tu ne fais pas pareil, tu es moralement responsable de ces 90 quadrillions d’unités de souffrance, donc tu es mauvais ».
      La plupart des rationalistes sont peut-être étranges, mais ils gardent au moins leurs distances avec les extrémistes excentriques ; ils se contentent de pratiquer un « végétarisme avec composants animaux ne ressentant pas la douleur » et, s’ils gagnent 300 000 dollars par an, d’en donner 200 000. Les gens vraiment extrêmes sont très difficiles à fréquenter et tout le monde les évite

  • Ce groupe s’est développé simultanément à travers plusieurs fils : différents sites, communautés, etc. En philosophie, j’ai vu la théorie de la Simulation de Nick Bostrom être valorisée bien au-delà de ce qu’elle méritait réellement (tout le monde l’acceptait sans esprit critique à un niveau grand public). En regardant en arrière, je vois que la question se développait aussi sur less wrong et plusieurs autres sites. En voyant les discussions sur la simulation dominer la philosophie, je me demandais d’où venait cette influence. Maintenant, je comprends que tous ces phénomènes étaient liés et évoluaient ensemble.
    En apparence, cela semblait intelligent, et certains sites étaient sincères, mais au final la dynamique s’est dégradée

    • Pour éviter tout malentendu, cet article ne dit pas que le rationalisme lui-même est une secte ; il parle de sectes liées socialement au mouvement ou empruntant certains éléments du concept de rationalisme, comme les Zizians

    • Une grande partie des commentaires parlent des sectes en général, alors qu’il faudrait surtout voir pourquoi celle-ci a été particulièrement efficace. Une grande part de son succès tient au point de rencontre entre l’argent et le statut. Des personnalités connues de la Silicon Valley y étaient connectées, et avec l’apport du capital — angels, VC, etc. — cela s’est propagé très rapidement.
      Pendant un temps, c’était une communauté qui apportait aussi du statut, et peut-être même de l’argent, ce qui explique son succès anormal