ハクソク

世界を動かす技術を、日本語で。

なぜこれほど多くの合理主義的カルトが存在するのか？

286日前原文(asteriskmag.com)

概要

  • Rationalistコミュニティ は合理的思考を目指すが、時に高い要求を持つグループを生む傾向
  • 一部グループは 奇妙な信念や有害なダイナミクス を持ち、深刻な事件やトラウマを引き起こした事例も
  • 脆弱な立場の人々 が巻き込まれやすく、サポートの欠如が問題を悪化
  • 問題の根本には 信念体系そのもの が大きく関与
  • コミュニティの成長とともに 支援体制や健全性 が問われている

ラショナリスト・コミュニティの光と影

  • Rationalistコミュニティ はAI研究者Eliezer Yudkowskyのブログ「The Sequences」から発展
  • 批判的思考や懐疑主義を重視する一方で、 高い要求や奇抜な信念を持つ小規模グループ が複数誕生
    • 例：Zizians（ヴィーガン・アナーキスト・トランスヒューマニスト）、Black Lotus（Brent Dill主導）、Leverage Researchなど
  • 一部グループは 暴力事件やトラウマ を引き起こし、コミュニティ内外に衝撃
  • 取材対象者は 元メンバーや関係者10名、記者自身もRationalistであり内情に精通

若いラショナリストたちの課題

  • コミュニティ全体は 機能的かつ支援的 だが、サブグループはしばしば 機能不全や有害性 を孕む
  • 「The Sequences」は「合理的思考で人生が劇的に良くなる」という 暗黙の約束 を示唆
    • 実際には 万能な解決法や超人的合理性 は存在しない現実
  • Eliezer Yudkowsky本人は カルト的運営に無関心 で、批判的な人材を周囲に置く方針
  • それでも「 変革を求める若者」がコミュニティに惹かれ、 権威や明確な指示 を求める傾向
  • サブグループでは RPGや独自フレームワーク を用い、リーダーによる支配やグループ内の相互依存が強化
    • 例：Black LotusではBrent Dillが中心的役割、Leverage Researchでは小グループごとにダイナミクスが異なる

脆弱性と支援の問題

  • 問題のあるグループには 精神的・経済的に不安定な人々 が多く参加
    • トランスジェンダーやトラウマを抱えた人が多く、 外部社会との断絶 が背景
  • 支援の有無 が体験の良し悪しを大きく左右
    • 早期コミュニティは小さく、 未熟なメンバーにも実用的スキルや自立を促した
    • 成功したメンバーが「 梯子を外す」現象も指摘される
  • 脆弱性だけでなく、 理想への信念や目的意識 が良い方向にも悪い方向にも作用
    • 例：Mike Blumeはコミュニティでスキルと安定を獲得

信念体系がもたらす影響

  • 問題グループの 信念体系そのものが有害行動の根本要因 となるケースが多い
    • 例：Ziziansは独自の意思決定理論を信じ、暴力的行動に発展
    • Leverage Researchは「Connection Theory」など 独自心理学理論 を追求し、精神的問題を助長
  • 社会的孤立や特殊な実践 （例：半球睡眠の瞑想法）が合理的思考力を低下させる要因
  • 信念に基づく行動が 外部からの強制ではなく、内発的なもの である点が特徴

コミュニティの課題と今後

  • 成長と多様化 に伴い、支援体制や健全性の維持が課題
  • 信念体系の扱い方 や、脆弱な立場の人々へのサポートが重要
  • 合理的思考の限界 と、現実的な支援・コミュニティ運営の重要性

Hackerたちの意見

最初のアベンジャーズ映画のことをずっと考えてるんだけど、ロキがみんなの上に立って「ほら、これが君たちの本来の姿じゃない？」って言ってるシーンが印象的だよね。選択肢がないことには、なんだか変な安心感があるし、論理に基づいたこういう合理主義的な枠組みは、曖昧さを受け入れないことで、いろんなクレイジーな方向に進んでしまうんだよね。

└

人間は鶏じゃないけど、やっぱりヒエラルキーが好きみたいだね。

└

彼らは、自分たちが好きなことを自由にできるから、そういう方向に傾いているみたい。まるで「神が私の手を導いている」っていう現代版みたいだね。

いろんなスレッドから派生してきたんだよね。いろんなウェブサイトやコミュニティが同じ時期に同じようなことを言い始めたのを感じた。特に哲学の世界では、ニック・ボストロムのシミュレーション論が過剰に持ち上げられてたのを見た（みんなが素人レベルで受け入れてた感じ）。振り返ると、「Less Wrong」や他のサイトからも発展してきたんだなって思うけど、シミュレーションが哲学の話を支配してるのは何なんだろうって疑問に思ってた。今はその全貌が見えてきたよ。どれも賢そうに聞こえるけど、いくつかのサイトは本物だった。でも、結局は乗っ取られちゃったね。

└

ここでのコメントの多くは、実際にはカルト全般について語ってるだけで、このカルトが特に成功した理由には触れてないと思う。大きな要因の一つは、カルトとお金や地位の交差点だね。著名なシリコンバレーの人たちが関わり始めてから、この流れは加速したし、エンジェル投資家やインキュベーター、VCのシーンと交わることで、暗黙のうちにお金が絡んでくるようになった。少なくとも一時期は、これを支持することで地位（そしてお金も）を得られたから、異常に成功したんだ。

└

はっきり言うと、この記事は合理主義をカルトだとは言ってないよ。合理主義と何らかの関係があるカルトについての話なんだ（社会的なつながりや合理主義の概念から派生したイデオロギーなど）、例えばジジアンみたいな。

こういうグループに対して持っている問題の一つは、彼らが自信満々に、互いに論理的に繋がっているように見える信念をぶちまけることなんだよね。でも、実際にはそれが完全に未検証の公理やナンセンスに基づいていることに気づくと、ちょっと引いちゃう。どこでもよくあることだけど、こういうコミュニティでは特に顕著に感じる。自己中心的な考えが多くて、参加するのがちょっと気持ち悪くなる。俺が知ってる一番賢い人たちは、自分の信念や知識に対して深く不安を抱いていた。自分で何かを導き出した人がやたら自信満々だと、すぐに疑いの目を向けちゃう。

└

自分で何かを導き出した人がやたら自信満々だと、すぐに疑いの目を向けちゃう。これについては確信してるの？

└

悪い公理だけのせいじゃないと思うんだ。人々は「論理的」な結論を積み上げる傾向があって、各ステップが前提から必然的に導かれるものだと考えてるけど、実際には各ステップがちょっと漏れていて、間違った自信が膨れ上がってしまうんだよね。非合理主義者も推論が得意なわけじゃないけど、少なくとも彼らは知的謙虚さを持ってるから、そこは違うと思う。

└

ユドスキー流の合理主義者は、サイエントロジストや他のカルトと同じように、病的に魅力的だと思う。多分、彼らが本気でSFの物語の中にいると信じているからだろうね。彼らのことをたくさん読んでるけど、たぶん読みすぎだな。ほとんどが馬鹿らしいと思うけど。AIカルトの合理主義の世界で見かける一番のナンセンスな公理は、再帰的自己改善だよ。これはSFで超知能が生まれる理由の定番で、AIがある閾値の知能に達すると、自分の思考を編集する方法を見つけて、人間よりも早くそれをやって、超知能に飛躍するっていう前提に基づいてる。全ての「AI 2027」シナリオはこの仮定に基づいていて、すぐにLLMが人間のAI研究を助ける能力を持つようになると想定してるんだ。でも、AIが自分を研究したり改善したりできるっていうのは明らかじゃないし、いろんな仮定が組み込まれてるんだよね！ - 「知能を高める」っていう非常に曖昧な目標が、収穫逓減を引き起こして、再帰的自己改善が信じられないほど遅くなる可能性は？ - それに、LLMはすでに収穫逓減の壁にぶつかっているように見えるし、最先端のAI研究を助けるのは、定型的なコーディングのスピード向上以外は難しいんじゃない？ - それぞれの知能の種類に対して異なる局所的最大値があって、AIが間違ったタイプの知能に最適化した後に簡単に行き詰まる可能性は？ - AIが自分をもっと賢くするために編集できることに気づいたら、自分の目標も編集できる。どうして自分をワイヤーヘッドにしないの？（報酬経路をショートサーキットして、常に目標を達成した気分になる）ユドスキーのことを考えると、こういうことに関して数百万語の理論が書かれた長いブログ記事がどこかにあるんだろうけど、具体的な証拠なしに哲学をやっても、速攻で超知能が可能だとは思えないな。

└

自分の人生の指針にしてもいいと思う唯一のイディオムは、「真実を求める者に従え、でも見つけた者には気をつけろ」だね。

└

何かに非常に確信を持っている人にはすぐに疑いを持つ。 私も、ほぼすべての分野でそうだよ。詐欺師って呼ばれる理由があるんだ。彼らは、自信が正しさに繋がっているという自然な感覚を騙している。でも、詐欺じゃない場合でも、どうやって人は何かに確信を持つようになるの？ 彼らは、自分が確信していることに反する証拠を無視しているんだ。実際に話していることを知っている人は、常に文脈を制限して、リスクを分散させる。彼らの説明は仮定に満ちていて、条件がつくことが多い。大きなことを言うことはほとんどないよ。

└

あなたが言っているのは、70年代のMENSAに対する私の印象そのものだね。

└

「真実を求める人を大切にしなさい、でもそれを見つけた人には気をつけて」 - ヴォルテール

└

以前、子供を持つべきじゃないって議論を見たことがある。子供を持つことが一生の中でのカーボンフットプリントの増加が最も大きいって（ヴィーガンになるより10倍以上とか）言われて、最終的にはカーボンフットプリントを減らすためにジェノサイドを推奨するような話になってた。

└

最初の原則から物事を考えようとするのはすごく魅力的だよね。自分もよくやるし、ずっとリバタリアニズムに惹かれてきた理由の一つでもある。でも、世界はその「最初の原則」を導き出すために使ったモデルよりもずっと複雑なんだよね。

└

彼らと宗教の違いは、宗教はその公理が信仰の問題だと言って、それをそのように扱う自由があること。合理主義者はそうする自由があまりない。

それはアンフェタミンだよ。これらの人たちは常に調整している。元々うざい人たちなのに、常に興奮していて、ずっと喋り続ける。すごく明らかだし、なんでこれがポストジジの記事であまり強調されないのか分からない。

└

どうやって知ったの？

この記事は美しく書かれていて、しっかりとしたオリジナルの研究が詰まっている。今までのコメントがほとんど「笑、合理主義者」みたいな反応ばかりなのが悲しい。この記事自体で、もっと色々なニュアンスで触れられていることに対して、まだ見たことがないコメントがあるよ。

何年か前にエリイザー・ユドコウスキーに会ったことがある。彼が合理性の美徳を称賛するパンフレットを渡してくれたんだけど、全体的にジョークみたいに感じた。まるで伝道のパロディみたいで、二人で笑った。ちらっと見て、棚に押し込んじゃったけど、あれを取っておけばよかったな。彼の周りでこんなに色々なことが起こるとは思わなかったから。

いわゆる「合理主義者」に出会ったときの不安をちゃんと表現してくれるものをやっと見つけた気がする（特に「エージェンティック」とか言う人たち）。論理的な思考が好きなのに、なぜか彼らにはいつも違和感を感じてた。多分、彼らの行動と自分の価値観（主に謙虚さ）との衝突なんだろうな。

この考え方の問題は、人間はみんな準合理的な存在だってこと。私たちは皆、本能的にシステム1（「象」）とシステム2（「騎手」）の思考を使ってる。だから、自分の非合理性を深く否定してしまうと、深い暗い穴に引きずり込まれることもあるんじゃないかな。

└

「速さと遅さ」のやつって、別のポップサイエンスとして否定されたんじゃなかったっけ？

└

俺が出会った中で一番非合理的だったのは、事実や論理に基づいてすべての決定を合理的に下してるって主張してた人たちだよ。彼らは合理化するのが得意で、自分の信念を合理的に定義しちゃってるから、他にどこから来てるのかを考える必要がないんだ。少なくとも、俺たちは「待って、これって自分を騙してるんじゃない？」って考えるチャンスがあるけどね。

なんか、こういう人たちは哲学を学びたいのに、何かの理由で正式な訓練を受けるのが面倒くさいって感じがする。自分をへりくだらせるのが嫌なんだろうね。これを「小さな魚鉢症候群」って呼んでるけど、もっといい表現があるかも。

確かに、外から見た限りでは、彼らの「合理的」な部分って、主に文章のスタイルに過ぎない気がする。冷静で、洗練された表現が、変なアイデアを実際よりも「合理的」で論理的に見せてるんだよね。