そうそう、「合理的」って部分は、彼ら自身や仲間たちのメタンガスを生産・摂取するための煙幕に見える。わかるよ、スタンフォードの女の子たちに「君は超天才の量子物理学者だ」って言われるのも楽しかったし。でも、ちょっとは品位を持てよ、インディアナの田舎で土を掘ってる方がもっと良いことができるかもしれないって考えてみてほしい。

第一原理からすべてを論理的に考えようとするのは問題がある。ほとんどの物事はそんな風に生まれたわけじゃないから。私たちの生物学や社会、文化のような複雑な人間の事柄は、長い時間をかけて環境や競争相手に応じて有機的に進化してきた。少しずつ、時には明確な目標を持って、でも多くの場合はそうじゃなく。単細胞生物からは多くを学べるけど、そこから象に至るまで論理的に考えるのは難しいだろう。運が良ければ、象から逆に考えることができるかもしれないけど。

「実際には、もっと無害で退屈なものになるかもしれない」 かもしれないけど、一般的に言って、もし多くの賢い人たちが人類を終わらせるかもしれない技術で遊んでいると思ったら、彼らには本当にそれが大丈夫だと確信できるまでやめてほしい。例えば、「百万分の一以下の確率」っていうくらいの確信が必要だよね。大きなリスクだし、もし100年前に生まれていたら、マンハッタン計画にも同じ原則で反対していただろう。爆弾が世界の大気を点火するかもしれないって心配されていた時代だからね。今も多くの機能獲得ウイルス研究には反対している。それを擁護するのに合理主義者である必要はない。自分は合理主義者だとは思っていないし、彼らに納得させられたわけでもない。ニック・ボストロムの『スーパインテリジェンス』を読んで、彼の主張がほとんどの前提を明らかにしているのを見て納得した。エウクレイデスやホッブズのスタイルに近いもので、…それとは全然違う。何よりも、インターネットの合理主義者たちは、実存的リスクに関して「どんな宣伝も良い宣伝」という30年にわたるキャンペーンのようなもので、実際に効果があったみたいだ。最近では「君はただのSF小説を読みすぎているだけだ」とリスクを軽視する人はあまり聞かないし、90年代や2000年代の頃のデフォルトの反応とは違うね。

合理主義の議論は、論理的な前提や関連が間違っている可能性を考慮することがほとんどないよね。体系的に検証する計画も立てないし。多くの領域では、一瞬の真実が簡単に変わることもあるし。

ずっと思ってたんだけど、息を切らしながらシンギュラリタリアンがAIのアラインメントについて心配してるのは、実際には人々が自己改善や超人的でないAIのもっと地味な危険、例えばアルゴリズムのバイアスやポリシーの洗浄、エネルギーコストや富の集中加速について冷静に考えるのを妨げるための煙幕だと思う。それに、いわゆるロングターミズムにもつながるよね。現在の実際の問題を解決することの利益を軽視して、いつかそれらを無意味にするだろう仮想の問題を解決することに完全に焦点を当てるのは。

彼らは「お、思いついたけど、もしかして全ての角度を考慮してないかも、間違ってるかも - でもこれが私の考えだ」といった感覚を見せることはないよね。これって、「認識的ステータス：ほとんど推測」とか書くトレンドを始めた人たちじゃないの？ 過信の危険についてエッセイを書いたり、自分の予測がどれだけ外れるかを測ったり、「私が間違っていたことのリスト」ってタイトルのウェブページを維持したりしてる人たちだよね？ このグループをあまりにも広く描いてない？

どのコミュニティにも、暗黙のルールやエチケット、共有された知識の長いリストがあるよね。合理主義者のコミュニティの核心的な前提の一つは、発言には不確実性があるってこと。自分が確信しているって明言しない限りね！これは実用的な理由から来ていて、毎回「これについては不確かです」って言うのは面倒だから。だから、多くの議論は「強い意見だけど軽く持ってる」って感じになるんだ。

彼らは「効果的利他主義」の人たちを思い出させる。仮想的な論理的思考の演習に完全にハマって、純粋な論理でたどり着いた狂った結論に縛られちゃうんだよね。初期条件がすごく人工的だったことに気づかずに。だから、彼らが出す結論は学問的な価値しかないんだ。これには「自分の尻に詰まる」っていう言葉がある。問題なのは、そういう人たちが「論理だけを使った」ってことで絶対的な優越感を持っちゃうこと。自分が間違ってるはずがないって思ってるからね。多くの人はティーンエイジャーや20代の頃にこういう考え方をするけど、ほとんどの人は誰かが頭を叩いて「そんなバカなことやめろ」って言ってくれる。でも、お金とインターネットがあれば、そういう監視から自分を守れるんだよね。

「彼らは『あ、俺には考えがあるけど、もしかしたら全ての角度を考慮してないかもしれないし、間違ってるかもしれないけど、これが俺の考えだ』っていう感覚を持ってることはない。」スコット・アレクサンダーのブログ（Slate Star Codex、今はAstral Codex X）を読んだことある？疑念や自己疑問でいっぱいだよ。彼は自分の間違いの公開リストまで持ってるんだ：https://www.astralcodexten.com/p/mistakes 俺の「合理主義者コミュニティ」に対する唯一の接点はこのブログだけだけど、そこから「自惚れてる」って印象は全然受けないよ。むしろその逆だね。

そうだね、超合理的な人たちのはずなのに、自分たちの非合理的な傾向を克服できるっていう信念には、いつもかなり非合理的なものを感じるよね！