最近、ある紛争があって、一方が戦争犯罪を犯しているかどうかの議論があったんだ。そこで「もしこれが戦略的なビデオゲームだったら、俺は戦争犯罪を犯してるだろうな」と思ったし、実際にその議論でも言ったんだ。残念ながら、この論理は正しいと思う。

「AIは現実世界の経験や結果の理解が限られている。」世界の人々も戦争についての経験が限られてるよね。1000人が写真や動画で記録された恐ろしいことをする方が、100万人が死ぬよりも注目を集める時代に生きてる。なのに、まだ「人が死なないように何でもする」って反応がない。今や核のエスカレーションが始まってしまった状況だし（ニューSTARTは延長されなかった）。80年前なら最大のニュースだったけど、今はそうでもない。

AIモデルは現実世界の経験がゼロだよ！彼らは、核のエスカレーションについて決定を下す人の役割を演じてるだけなんだ。

俺も過去に似たようなコメントをしたことがあるよ。これは新しい情報じゃない。でも、それでも人に伝え続けることは大事だと思う。3年前、最先端のセキュリティ研究者たちは「これらをインターネットに接続するな」って声を上げてた。でも今、OpenClawを見てると、そのアドバイスに従う人はほとんどいないみたいだね。

AIは現実世界の経験や結果の理解が限られている [核兵器の] この議論が理解できない。ほとんどの人間も核兵器の結果についての現実世界の経験がないじゃん。AIは、他の私たちと同じ知識源、つまりテキスト、音声、画像、動画を使ってるんだよ。

アメリカの3分の1は、何百万もの不法移民を厳しく追放しないと、自分たちの生活様式が壊されると信じ込んでるんだよね。もし彼らがその人たちが存在の脅威だと確信してたら、「クソみたいな」国のどれかに核を落とすことの正当性を納得させるのはそんなに難しくないと思わない？イラク侵攻もWMDの嘘で人々を納得させたし、ほとんどのアメリカ人は広島と長崎に核を落としたのは正しかったと思ってる。アメリカを「救う」ために核を落とすことに賛成するのも難しくないんじゃないかな。

あなたはこれを完全に誤解してるよ。これはLLM（大規模言語モデル）なんだ。彼らには経験がないし、トークンの確率しか持ってない。彼らの元は、インターネットのテキストコーパスで、「AIが核攻撃を命令する」っていうのは、フィクションでAIに関連付けられる主要なテーマの一つなんだ。エージェントがバックエンドのコンテキストにどれだけの言葉を注ぎ込むと、ターミネーターが言及されて、その物語がどんどん出てくるようになるんだろう？

AIに何らかの意思決定をさせることには、もっと深い問題があると思う。彼らには現実の経験がないし、現実の結果を感じることもない。彼らが下す決定には、実際の利害関係がないんだ。人間社会は、現実の結果を課すことでメンバーの行動をコントロールできる。会社はあなたを解雇できるし、パートナーは離婚できる、国家はあなたを刑務所に入れることができる、公共はあなたを恥じることができる。これらのどれも、現在のLLMベースのAIシステムには通用しない。彼らは、自分を生かしておく必要すらない狭いタスクにしか訓練されていないから。AIを社会で機能させるにはどうすればいいのか、わからない。もしかしたら、ゲームをしないのが一番の策かもね。

核攻撃が明らかな選択肢に見える それは、最初に発射して、軌道から行う場合だけだ。それが確実な方法だから。

人々が「ただ核攻撃すればいい」と無神経に言うことがあるけど、もし彼らに赤いボタンを渡して、それを押せと言ったら、ほとんどの人は押さないだろう。でも、その後者の部分は訓練データには入らないんだよね。