そうそう、「合理的」って部分は、彼ら自身や仲間たちのメタンガスを生産・摂取するための煙幕に見える。わかるよ、スタンフォードの女の子たちに「君は超天才の量子物理学者だ」って言われるのも楽しかったし。でも、ちょっとは品位を持てよ、インディアナの田舎で土を掘ってる方がもっと良いことができるかもしれないって考えてみてほしい。

第一原理からすべてを論理的に考えようとするのは問題がある。ほとんどの物事はそんな風に生まれたわけじゃないから。私たちの生物学や社会、文化のような複雑な人間の事柄は、長い時間をかけて環境や競争相手に応じて有機的に進化してきた。少しずつ、時には明確な目標を持って、でも多くの場合はそうじゃなく。単細胞生物からは多くを学べるけど、そこから象に至るまで論理的に考えるのは難しいだろう。運が良ければ、象から逆に考えることができるかもしれないけど。

「実際には、もっと無害で退屈なものになるかもしれない」 かもしれないけど、一般的に言って、もし多くの賢い人たちが人類を終わらせるかもしれない技術で遊んでいると思ったら、彼らには本当にそれが大丈夫だと確信できるまでやめてほしい。例えば、「百万分の一以下の確率」っていうくらいの確信が必要だよね。大きなリスクだし、もし100年前に生まれていたら、マンハッタン計画にも同じ原則で反対していただろう。爆弾が世界の大気を点火するかもしれないって心配されていた時代だからね。今も多くの機能獲得ウイルス研究には反対している。それを擁護するのに合理主義者である必要はない。自分は合理主義者だとは思っていないし、彼らに納得させられたわけでもない。ニック・ボストロムの『スーパインテリジェンス』を読んで、彼の主張がほとんどの前提を明らかにしているのを見て納得した。エウクレイデスやホッブズのスタイルに近いもので、…それとは全然違う。何よりも、インターネットの合理主義者たちは、実存的リスクに関して「どんな宣伝も良い宣伝」という30年にわたるキャンペーンのようなもので、実際に効果があったみたいだ。最近では「君はただのSF小説を読みすぎているだけだ」とリスクを軽視する人はあまり聞かないし、90年代や2000年代の頃のデフォルトの反応とは違うね。

合理主義の議論は、論理的な前提や関連が間違っている可能性を考慮することがほとんどないよね。体系的に検証する計画も立てないし。多くの領域では、一瞬の真実が簡単に変わることもあるし。

ずっと思ってたんだけど、息を切らしながらシンギュラリタリアンがAIのアラインメントについて心配してるのは、実際には人々が自己改善や超人的でないAIのもっと地味な危険、例えばアルゴリズムのバイアスやポリシーの洗浄、エネルギーコストや富の集中加速について冷静に考えるのを妨げるための煙幕だと思う。それに、いわゆるロングターミズムにもつながるよね。現在の実際の問題を解決することの利益を軽視して、いつかそれらを無意味にするだろう仮想の問題を解決することに完全に焦点を当てるのは。

彼らは「お、思いついたけど、もしかして全ての角度を考慮してないかも、間違ってるかも - でもこれが私の考えだ」といった感覚を見せることはないよね。これって、「認識的ステータス：ほとんど推測」とか書くトレンドを始めた人たちじゃないの？ 過信の危険についてエッセイを書いたり、自分の予測がどれだけ外れるかを測ったり、「私が間違っていたことのリスト」ってタイトルのウェブページを維持したりしてる人たちだよね？ このグループをあまりにも広く描いてない？

どのコミュニティにも、暗黙のルールやエチケット、共有された知識の長いリストがあるよね。合理主義者のコミュニティの核心的な前提の一つは、発言には不確実性があるってこと。自分が確信しているって明言しない限りね！これは実用的な理由から来ていて、毎回「これについては不確かです」って言うのは面倒だから。だから、多くの議論は「強い意見だけど軽く持ってる」って感じになるんだ。

彼らは「効果的利他主義」の人たちを思い出させる。仮想的な論理的思考の演習に完全にハマって、純粋な論理でたどり着いた狂った結論に縛られちゃうんだよね。初期条件がすごく人工的だったことに気づかずに。だから、彼らが出す結論は学問的な価値しかないんだ。これには「自分の尻に詰まる」っていう言葉がある。問題なのは、そういう人たちが「論理だけを使った」ってことで絶対的な優越感を持っちゃうこと。自分が間違ってるはずがないって思ってるからね。多くの人はティーンエイジャーや20代の頃にこういう考え方をするけど、ほとんどの人は誰かが頭を叩いて「そんなバカなことやめろ」って言ってくれる。でも、お金とインターネットがあれば、そういう監視から自分を守れるんだよね。

「彼らは『あ、俺には考えがあるけど、もしかしたら全ての角度を考慮してないかもしれないし、間違ってるかもしれないけど、これが俺の考えだ』っていう感覚を持ってることはない。」スコット・アレクサンダーのブログ（Slate Star Codex、今はAstral Codex X）を読んだことある？疑念や自己疑問でいっぱいだよ。彼は自分の間違いの公開リストまで持ってるんだ：https://www.astralcodexten.com/p/mistakes 俺の「合理主義者コミュニティ」に対する唯一の接点はこのブログだけだけど、そこから「自惚れてる」って印象は全然受けないよ。むしろその逆だね。

そうだね、超合理的な人たちのはずなのに、自分たちの非合理的な傾向を克服できるっていう信念には、いつもかなり非合理的なものを感じるよね！

実際の人間はこんな話し方はしないよ。もし本当にそうなら、フィクションのキャラクターの役割を演じてるってことだ。どちらにしても、顧客層について多くを語っているね。その後、いくつかスキミングしたけど、これはただの大言壮語に見える。タイトルに至っては、ハリウッドのキャラクターがカメラを見ながら言いそうなセリフだし、ニヤリとした表情を浮かべるところまで想像できる。

その部分まで読んで、冗談だと思ったら…そうじゃなかった。そこからは読まなくなった。こんな話し方をする人の言うことには、興味がない。

それにしても… > 彼らはカルトっぽい雰囲気を（全部じゃないけど）出してたよね…彼の訪問の様子を説明したら、めっちゃカルトっぽい感じがした。

正直なところ、もしスコット・アーロンソンにリアルで会ったら、たぶん同じ反応をすると思う。彼は超頭が良くて考え深いし、量子コンピュータについては他の誰よりも一貫して書ける人だよ。

なんで投稿の初めの方で読まなくなったのにコメントするの？ そのコメントがどう価値があると思ってるの？ まるでサイトのガイドラインが禁止してるような浅い否定をしてるだけに聞こえるよ。

プレイリンクにアップボート！面白いし、前は聞いたことなかったな。トップレベルの投稿に値すると思うよ。

スコット・アーロンソンは、ビッグネームの合理主義者の中で一番マシだと思ってる。だから、彼が自分がその一員だと気づかなかったのが、スコット・シスキンドに言われるまでだったってのがちょっと面白いよね。

STEM系の人たちが哲学や文学、歴史のバックグラウンドがないまま、そういう基本的なアイデアに感動してるのがあると思う。これは君のことを言ってるわけじゃないけど、これらのテーマは何千年も議論されてきたから、ユドコウスキーが新しい地平を切り開いてるのは少し驚くべきことだよね。

そうだね、合理性に関するコミュニティ全体は、せいぜい疑わしいところがあるよ。でも、文献が説明する思考の道具は貴重なんだけど、一つだけ重要な注意点がある。もし「自分は合理主義者だから、他の人より正しい」と思った瞬間、合理主義者として失敗することになる。これはすごく簡単に陥る間違いだよ。道具を効果的に使うには、それを使う前よりも謙虚にならないと、理屈が通じないクソ野郎になっちゃうからね。「実は自分が正しい」と言うことが「おお、もしかして自分が間違ってるかも」より多いなら、合理主義者として失敗してるよ。

もし人工知能が危険だっていう核心的な議論を理解したいだけなら、ニック・ボストロムの「スーパーハイパー知能」の最初の数章を読むことをおすすめするよ。その方がずっと得られるものが多いから。

彼の大作「ハリー・ポッターと合理性の方法」を読む方が時間を有意義に使えると思うよ。https://hpmor.com/

例えば、純粋に「意味論的」な議論に多く関わったことを思い出すよ。これはウィトゲンシュタインが「言語ゲーム」と呼んでいたものだと思う。

おすすめありがとう！その本のことは聞いたことなかったよ。

あの本は、個人的には、ターゲットをよく理解してないスミア試みのように感じる。大文字のRの合理主義者をネオリアクショナリーと結びつけようとする前提は、正直言って変だよ。スコット・アレクサンダーは、前者の中で唯一、後者を真剣に受け止めている著名な人物として知られてるからね。彼は、できるだけ明確に書かれた大規模な調査[1]を行った後、巨大なポイントごとの反論[2,3]を続けている。一方、合理主義者の「カルトリーダー」であるユドコウスキーは、ネオリアクショナリーを軽蔑していて、その意見を話すことすら拒否している。最近の出来事に関しては、アレクサンダーはヤーヴィンのトランプ政治への関与について厳しいレビューを書いていて[4]、その主な主張はヤーヴィンが基本的に彼が主張していたすべてを裏切ったということだ。書籍の構想の話も善意の仮定を大きく損なう[5]。著者のエリザベス・サンディファーは、デイヴィッド・ジェラードによって大きくインスパイアされ、ソースされ、編集されたと明言している。彼はRationalWikiやr/SneerClub（TFAで言及されている「スニアラーたち」）の著名な寄稿者で、スコット・アレクサンダー（スコット・シスキンド）に関する記事の編集を利益相反と名誉毀損でトピック禁止されたWikipediaの管理者なんだ[6]。エリザベス・サンディファー自身も、ジェラードの以前の編集戦争の際にWikipediaの編集者をドックスしたことで禁止されたことがある[7]。

合理主義者に関する本で、Wikipediaページから大量のnpov違反で禁止されている人によって書かれたスミアではない本が欲しいなら、チバースの「AIはあなたを憎んでいない」と「合理主義者の銀河ガイド」が良いって聞いたよ。（免責事項：チバースは私たちをちょっと好きだから、片方の本が好きならもう片方は嫌いかもしれない。）

「おそらく最も役立つ本」って言いたいの？「おそらく俺のバイアスを最も確認してくれる本」ってこと？

「ネオリアクショナリー運動」は確実に支配的じゃないよ。

「現在アメリカの政治で支配的なネオリアクショナリー運動を育てた」 > 「政治的またはイデオロギー的な戦いのためにHacker Newsを使わないでください。好奇心を踏みにじります。あなたはアウトグループを中傷するために非常に議論の余地のある世界観を提示しています。やめてください。さらに、その中傷は多くの人（私自身を含む）が原則的に無効だと考えるような関連による罪に依存していて、さらには軽く調べても成り立たないことがわかります。少なくとも他の人がこの問題をどう見ているかを少し考えてみてください。「信頼できる情報源：ウィキペディアの管理者デビッド・ジェラードがどのようにして彼の恨みを公の記録に洗浄するか」 https://www.tracingwoodgrains.com/p/reliable-sources-how-wik... には、ジェラードの親しい関係者であるサンディファーの合理主義への関与や、あなたが引用した作品とそのバイアスについての長いコメントが含まれています。

アイロニックなことに、この話題を持ち出すと、いつもメッセンジャーへのアド・ホミネム攻撃に話が移って、肝心の内容が完全に無視されるんだ。これは合理主義者たちが嫌うと主張する議論のタイプそのものだけど、自分たちのコミュニティに関する不都合な議論が出ると必ず持ち出される。著者のせいで内容を否定したり、「中傷」のように感じるから議論を認めないコメントは、議論を自分の基準で判断できないことを認めているんだ。もし誰かが実際にこのトピックに関わりたいなら、アド・ホミネムで逃げるのではなく、スコット・アレクサンダーがなぜ頻繁にネオリアクショナリーなトピックに関わるのかについての彼自身の言葉を読むことを勧めるよ。

うん、「ツール」という言葉の重要性を強調したい。これは「ツール」であって、「絶対的な真実への魔法の窓」じゃない。ツールは仕事に対して良いこともあれば、悪いこともある。続けて。

ここで話されている「合理主義者」グループは、経験主義を否定したデカルト的合理主義者ではなく、ベイズ的経験主義者なんだ。ベイズ確率は、アリストテレス（名目上は経験主義者！）が欠けていた、ブール論理の連続実確率へのユニークな拡張なんだよ。（彼らが「合理主義者」と自称するのは、経済学における「合理的ベイズエージェント」の理想のためだと思う。）でも、彼らには「宇宙の条件付き確率分布を単純に推論することはできない」というスローガンがある。つまり、AIXIは計算不可能で、AIXIですら計算可能な確率分布にしか推論できないってことだね！

仮の謙虚さ。これが初めて価値のあるミームになることを願ってる。カルトが必要だ…仮の謙虚さの。pHを上げなきゃ。

論理は真実を学ぶこと、そして証明可能なことを学ぶことだ。理想的な状況では、これらは同じものだよ。論理はモデル理論（真実を学ぶ）と証明理論（証明可能なことを学ぶ）に分解されている。現代の合理主義の多くは、証明理論から切り離されている。彼らの中にはカントの「純粋理性批判」を読むといい人もいると思う。残念ながら、私たちがよく扱う非常に複雑なシステムでは、真実であることが証明できない場合もあり、証明できることが真実でない場合もある。だから、識別力を磨くことや、推論だけでなく計算を実践することも同じくらい重要なんだ。私はそれを「真実の響きを聞く」ように考えているけど、これは明らかに反証不可能で、自分がこれを聞いたと信じるときには自分に対して懐疑的でいなきゃいけない。これは深い調査へのガイドであって、最終的な目的地ではない。多くの人は思考によって迷わされる。思考は魅力的だ。思考は無意識の完璧さへの意識的なつまずきに過ぎないと言うべきだ。

「-イズムは良くない。人は-イズムを信じるべきじゃなく、自分自身を信じるべきだ。」それに関しては-イズムがあるよ。実際、見る角度によっていくつかの異なるものがある：ソリプシズム、ナルシシズム、...

「これは雰囲気の話だ」って言いたいの？「実証的な観察」ってこと？

HNは合理性に対して結構厳しいよね。例えば、Mr. Beastに関するこのスレッドを見てみてよ。彼は物議を醸す人物だけど、トップコメントはみんな結構好意的なんだよね。そこでの会話を見て、この記事のコメントと比べると面白いよ。スコット・アーロンソンは、理論的にはHNが大ファンであるべき人で、報告によると超いい人で、量子力学について驚くほどの知識を持ってるんだけど、彼が「合理性が好き」と言ったら、Mr. Beastよりも好意的な反応が少ないんだ。なんで？

彼らはコミュニティで、イングループがあって、もしあなたがその一員でなければ、定義上アウトグループになる。合理主義者のコミュニティは絶対に排他的ではないよ。自分を合理主義者だと宣言して、「認識論的ステータス」のタグラインをつけたブログを投稿すれば、参加できるんだ。批判は、クールなクラブだから人を入れないからじゃない。 > 彼らは独特な意見を持っていて、それをオープンにしている。人は自分と違う意見を表明する人をあまり好まない傾向がある。これが合理主義者コミュニティの問題の一つなんだ。異端的なアイデアや異なる視点を楽しむと言いながら、実際には多くの意見で驚くほど一致している。外から見ると、ある合理主義者のブロガーがあるトピックの種を植えて、それが他の人たちに事実として受け入れられるのが簡単にわかる。数年前、ある合理主義者のブロガーが水中の微量リチウムが肥満を引き起こしていると仮定する長いシリーズを書いた。それは「Astral Codex Ten」の助成金も受けたんだ。何年も合理主義者コミュニティを通じて何かの証拠として共有されていたけど、実際の専門家たちは最初からそれを分析して、著者が研究を誤解していたり、統計を悪用したり、もっと重要な要因を無視していることを示していた。問題は意見の違いではなく、実際の専門知識を無視して、矛盾する証拠を無視しながら「第一原理」に基づく評価をしようとすることなんだ。これが非常に頻繁に起こる。

一般的な好奇心の欠如 正直に言うと、最近のHacker Newsのコメントはとても啓発的だと思う。多くのコメントが合理主義者コミュニティに数年浸っていた人たちから来ているから。私の友人グループの一つは、ずっとLessWrongやSSCに夢中だった。彼らのグループから無数のブログやコンテンツを読んできたよ。でも、私がそれについて書くたびに、無知な外部者として扱われるんだ。批判や分析が好きな面白い人たちのグループだけど、自分たちのサークルを疑う人には優しくないんだよね。

私は特にケイド・メッツの存在的脅威が好きだった。合理主義者たちが批判者を無視するのが好きな方法に、いつも魅了されている。彼らは実際に会った人たちが優しそうだったからという理由で批判を無視するんだ。すごく奇妙なミームだよ。カーティス・ヤーヴィンは「Vibecamp」という合理主義者の集まりに行って、いくつかの著名なTwitterの合理主義者たちに優しく接した。その結果、彼らはTwitterで彼を熱心に擁護するようになった。彼らの主張は「会ったら優しかった」というもの。イングループとアウトグループの境界が引かれると、合理主義者の哲学がすぐに消えてしまうのが信じられない。ケイド・メッツを持ち出すのは、彼らがそれを「あなたは私たちと一緒か、それとも反対か」の戦いにうまく変えたから、彼が持ち込んだ有効な議論を完全に無視しているんだ。そして、彼らがネオリアクショナリーたちをどう扱うかを見ると、私たちが彼らに対する軽蔑を超えて、彼らの議論の中にある可能性のある良い点に目を向けるべきだと言われると、もしかしたらこの運動は彼らが思っているほど真実を追求しているわけではないのかもしれないと思う。