Pourquoi y a-t-il autant de cultes dans la communauté rationaliste ?

• De petits groupes de croyances étranges au sein de la communauté rationaliste sont apparus à plusieurs reprises, et certains ont été liés à de véritables actes de violence
• Ce phénomène vient du fait que les contenus mettant l’accent sur les méthodes de pensée rationnelle (Sequences) promettent une technique pour « mieux penser » sans pouvoir, en pratique, tenir réellement cette promesse
• Les personnes en situation de vulnérabilité ont davantage de chances d’être happées par des groupes nocifs au sein de la communauté, et il leur est souvent difficile d’en sortir car elles se retrouvent coupées de l’extérieur
• Le lien entre croyances et comportements au sein du groupe, le fait de prendre les idées très au sérieux et l’isolement social peuvent provoquer de graves dysfonctionnements
• Il est difficile d’empêcher totalement l’apparition de cultes rationalistes, mais maintenir un lien avec la réalité extérieure, une diversité sociale et des structures organisationnelles saines peut en réduire les effets négatifs

---

Introduction

• La communauté rationaliste est née autour de la série de billets de blog Sequences, écrite par le chercheur en IA Eliezer Yudkowsky
• Cette série traite de la manière de penser rationnellement, et l’on pourrait donc s’attendre à ce que les membres de la communauté soient des modèles d’esprit critique et de scepticisme
• Pourtant, on a vu émerger dans la communauté des groupes étranges et nuisibles : petits cercles prétendant communiquer avec des démons, affaires de violence, groupes provoquant des traumatismes
• Parmi les exemples connus figurent les Zizians, un groupe végan, anarchiste et transhumaniste, ainsi que Black Lotus et Leverage Research
• L’auteur est lui-même un insider de la communauté, ce qui lui a permis, grâce à des entretiens approfondis, d’obtenir un niveau d’accès et de franchise inédit

Le problème des jeunes rationalistes

• Dans l’ensemble, la communauté rationaliste fonctionne, mais certains groupes présentent des structures gravement dysfonctionnelles

• Sequences promet « l’art de mieux penser » et un avenir hors du commun, mais en réalité cette promesse est impossible à tenir

• De nombreuses personnes interrogées soulignent que ce contenu fournit la matière première des cultes

• Eliezer Yudkowsky est peu enclin à construire une identité de groupe, mais les personnes arrivant de l’extérieur aspirent souvent à être transformées par une figure d’autorité et à accomplir une mission héroïque

• Le dysfonctionnement de certains groupes vient d’un leader (par exemple Brent Dill dans Black Lotus), ou bien une dynamique toxique émerge spontanément par la base (comme chez Leverage Research)

• Les personnes vulnérables deviennent plus facilement prisonnières de groupes séparés du reste du monde, et ont aussi plus de mal à se sortir de situations problématiques

• Au départ, la communauté aidait les membres les moins mûrs, mais avec le temps les personnes ayant réussi ont eu tendance à retirer leur soutien

• Les nouveaux venus privés de soutien deviennent des cibles faciles pour des sous-groupes nocifs

Le sérieux des croyances

• Au sein des groupes dysfonctionnels, plus encore que l’isolement social ou la manipulation par un leader, ce sont les croyances elles-mêmes qui constituent la cause centrale

• Par exemple, chez les Zizians, une théorie de la décision radicale — selon laquelle il faut répondre inconditionnellement aux menaces — s’est directement traduite en actes

• Leverage Research cherchait à comprendre la structure intérieure de ses membres et à résoudre leurs problèmes à l’aide d’une théorie unifiée de la psychologie appelée Connection Theory

• En essayant d’aligner leur comportement sur ces modèles psychologiques simplifiés, certains ont même développé des problèmes mentaux

• Brent Dill poussait les membres à interpréter le monde et les autres de manière cynique, ce qui a nourri la méfiance interne et constitué la forme de nuisance la plus fondamentale du groupe

• En refusant de faire confiance aux experts et en voulant penser par eux-mêmes, les rationalistes courent paradoxalement le risque de déléguer leur pensée à un leader charismatique

• Le fait de « prendre les idées au sérieux » et l’« agency » sont à l’origine des qualités, mais, mal appliqués, ils peuvent mener à des comportements dangereux hors des normes

Vigilance face à la psychologie

• Dans les groupes problématiques, de longues discussions intenses sur la philosophie, la psychologie et les relations internes au groupe faisaient partie du quotidien

• À l’inverse, dans les groupes résidentiels sains, l’attention se portait plutôt sur des activités extérieures ou des réalisations concrètes (programmation, jeux, etc.)

• On trouve aussi des cas où des membres de Black Lotus ont gagné en confiance en assumant des rôles réellement importants

• Chez Leverage Research également, les sous-groupes travaillant sur des projets concrets (comme le développement crypto) étaient plus sains

• L’excès de discussions émotionnelles internes et d’analyse psychologique aggrave les dysfonctionnements, l’anxiété, l’isolement et la déconnexion du réel

• Dans un groupe sans objectif concret tourné vers l’extérieur, plus les discussions internes s’éternisent, plus les dynamiques nocives s’amplifient

• Lorsque l’exploration prolongée de la psychologie de groupe et des émotions devient la norme, c’est le signe que quelque chose va mal, même s’il ne s’agit pas d’un culte

Les risques du conséquentialisme

• Lorsqu’une vision conséquentialiste du monde est prise au sérieux, elle peut justifier une loyauté excessive envers un leader ainsi que le sacrifice
• Dans la communauté rationaliste, le discours fréquent sur le risque d’extinction lié à l’AGI provoque tensions et obsessions au sein des groupes
• Les personnes qui n’ont pas les capacités nécessaires pour contribuer à l’IA ont davantage tendance à s’accrocher à des projets alternatifs ou à de petits groupes, et peuvent ainsi glisser vers le dysfonctionnement
• Une grande cause (comme une crise menaçant l’humanité) peut conduire à attribuer une importance excessive jusque dans les affaires du quotidien
• Alors qu’en réalité, surmonter une crise repose sur une succession de tâches simples et répétitives, certains poursuivent un fantasme héroïque qui ne correspond pas à cette réalité

Vigilance face à l’isolement

• L’isolement social, le conformisme interne au groupe et la coupure avec l’extérieur sont au cœur de l’aggravation des dysfonctionnements
• Le fait que les membres ne sortent pratiquement jamais de la maison ou du bureau est l’un des signes les plus sûrs qu’on a affaire à un culte
• Une réalité définie uniquement de l’intérieur, l’exclusion des critiques et la surveillance mutuelle mènent à la pensée de groupe et à un excès de croyance
• Le fait de vivre dans la même maison et de laisser le groupe pourvoir à tous les besoins affaiblit l’autonomie et les capacités à vivre dans le monde extérieur
• Le secret pose aussi problème, y compris entre sous-groupes internes qui ne partagent pas l’information, et les révélations tardives comme le manque de communication alimentent un cercle vicieux

Conclusion et recommandations

• Les dysfonctionnements de la communauté rationaliste ne sont pas forcément plus graves qu’ailleurs, mais ils apparaissent de manière « plus intéressante »
• La tendance propre à cette communauté à « transformer les croyances en actions » et à « vivre différemment de la société existante » en est l’une des causes, mais on ne peut pas l’éliminer complètement
• À l’échelle individuelle comme communautaire, les stratégies suivantes peuvent aider à réduire les dysfonctionnements

Recommandations pour les individus

1. Si les longues discussions sur les relations humaines ou les émotions au sein du groupe se poursuivent sans fin, c’est un signal d’alerte
2. Privilégier des activités avec des critères objectifs de réussite et créer des points de contact avec la réalité extérieure
3. Maintenir des liens avec des groupes sociaux variés
4. Séparer travail, lieu de vie et parcours thérapeutique
5. Même si tout le groupe partage une croyance, il faut solliciter l’avis de personnes extérieures ou une vérification indépendante
6. Si un long raisonnement abstrait aboutit à « on peut faire du mal aux autres » ou à « tout le reste compte moins que cette mission », il faut s’en méfier
7. Participer à un groupe très exigeant quand on n’a pas d’autre option doit être envisagé avec prudence

Recommandations pour la communauté

• Maintenir des liens avec les membres entrés dans des groupes dysfonctionnels et leur offrir une communication normale plutôt que des reproches
• Donner aux nouveaux membres des attentes réalistes et réfléchir à des moyens d’élargir le soutien concret qui leur est apporté
• Dire franchement qu’il n’est pas facile d’entrer dans des domaines comme la sécurité de l’IA, et ne pas dévaloriser les personnes qui ne peuvent pas y contribuer
• Encourager la discussion autour des « lignes rouges éthiques » (ce qu’il ne faut clairement pas faire)