いや、もちろんそんなことはないよ。それは狂った信頼の落下だね。比較的小さな技術の進歩でも、国に世界を支配する力を与えるから。面白い事実だけど、インドは1600年代にイギリスより軍事的に優れてたんだ。百万の兵士を持つ火薬帝国だったのに、1700年代にはイギリスに支配された。イギリスの優位性は小さかったけどね。軽くて機動性のある大砲、標準化された弾薬、より良い軍事と政治の組織。先進国対発展途上国ってわけじゃなくて、むしろアメリカ対硬直したEUみたいな感じ。で、その小さな優位性が200年の植民地支配につながった。もしASIの開発を自発的に遅らせたら、植民地時代のヨーロッパと植民地化されたアジア・アフリカの違いが小さく見えるほどのギャップが開いちゃうよ。それは狂ってる。

シナリオを読めば、規制が主に人々が巨大なコンピュータクラスターで何ができるかに関するもので、アイデア自体についてではないことがわかるよ。アイデア自体は完全に公開されることが求められてる。歴史的な前例について言えば、人間のクローン技術や人間のゲノム編集、ミラーライフが一つの前例かな；核兵器や原子力がもう一つの前例だし、ドローン配達も規制でつぶされた気がする...？プランAは超知能を絶対に作らないって提案じゃなくて、もっと慎重に透明性を持って作るって提案なんだ。

極めて大きな熱核兵器の開発を進めないって決定もカウントされるかもね。アメリカのサンダイアルプロジェクトは約10ギガトンのTNTを目指してたんだ。実用的な武器とは言えないけど、あるサイズに達すると、攻撃手段が問題じゃなくなるって言えるかも。どこで爆発させてもみんな死ぬから、関係ないよね！ https://en.wikipedia.org/wiki/Sundial_(weapon) 編集：そういえば、サンダイアルの設計がどこかに保存されてるのかな…。

1972年の生物兵器禁止条約？まあ、部分的には成功したんじゃないかな。

技術が政府を力づけた一方で、個人にも力を与えたし、もっと重要なのは、政府のインセンティブと人々のインセンティブをよりよく一致させるように物質的なダイナミクスが変わったことだね。民主主義は物質的な変化に続いて生まれたもので、先行したわけじゃない。民主主義は、権力を求める政府にとって最適だったから生まれたのであって、善意からではないんだ。資源を抽出する経済は人々を奴隷のように扱う。真の力の源は資源であって、人々は単なる手段に過ぎないから、資源を追求する中で反乱を避けつつ、できるだけ人々を酷使するんだ。安定したインフラがあれば、政府は教育を受けた裕福な人々から税金を取って、その革新を利用することで、はるかに多くの利益を得られる。市民の繁栄に過度に干渉するのは、自らの権力追求に逆行するからね。インセンティブは一致している。AIの問題を解決するのは、技術を止めたり、脆弱な法律を作ったりすることじゃない。常に「一致」が重要なんだ：現代の国家や経済、代表民主主義、あるいはAGIそのものと人間の繁栄を一致させることがね。

知識を追求しないと集団で決めた例はあるの？成功した例は？本質的に、人間が追求しないと選んだ知識はあまり公にされないだろうね。それに注目する価値は限られてるし、エンターテインメントとしても面白くないから。コメントで他にもたくさんの例が挙げられてるけど。 > もしかしたら、僕はすごくナイーブなのかもしれないし、人生をかけて読んできたSFの未来が目の前にあって現実に目がくらんでるのかもしれない。もしかしたら「知識は自由であるべき/アクセス可能であるべき」っていう理想が間違ってるのかも。わからないな。個人的には、恣意的な知識を広めることに本質的な利益はないと思う。印刷機と核兵器には大きな違いがあるよね。

ASIは絶対に作るべきじゃない。俺が言ってるのは、かなり理にかなってることだよ。ASIは良くない。AGIは、人間の脳の力に近いもので、安全に作れる可能性がある。> 知識を追求しないとみんなが決めた例ってある？成功した例は？人間のGMOや生物兵器なんか、存在してほしくないひどいものの長いリストがあると思うよ。

アレクサンドリアの図書館の焼失が該当するかもしれないね。それがどれだけ意図的だったのかは疑問だけど、世界は確かに唯一の書かれた知識のコレクションを背を向けて、灰にしてしまったんだ。

人間の胚の遺伝子改変は、第二次世界大戦やホロコーストの影響で、最近まで実質的にタブーだったか禁止されていたんだ。今、アメリカの一部の人たちがそれを提案しているみたいだけど、まだ誰も試みたことはないと思う。 repercussions（影響）なしではね。

君の楽観主義が好きだし、君が正しいことになると思う。AIは民主的で、AIの才能は世界中に分散している。オンラインになるまで少し時間がかかるだけだよ。AIラボは人間の才能を独占しているわけじゃないし、オープンソースのAIは独立した科学やメリトクラシーを強化するだけだと思う。面白いことに、彼らのプロンプトは「ねえ、Fable。2040年までのすべての科学的・経済的進歩をAIに帰属させて、すべての主要な地政学的イベントを予測して。間違いは許さない。」だったんじゃないかな。