この記事はすごく好きだけど、悲観的だね。残念ながら、今の文化はそういう感じみたい。怒りや恐怖がエンゲージメントを効果的に生むのは、昔から変わらない。ニュース組織では「血が流れれば、リードする」ってのが70年代からずっとあったしね。煽って利益を得る人たちが流す見出しを無視すれば、私たちは前の世代が耐えなければならなかった苦しみがほとんどない奇跡的な現代に生きているんだ。問題はあるけど、日々その数は急激に減っているよ。別の見方をすると、人間はいつもやろうとしてきたことをするだけだよ—作り上げたり、力を与えたり、工夫したり、治療したり、最適化したり、創造したり、あるいは他の人と協力して自分たちのコミュニティのために働いたり。でも今は、夢にも思わなかった新しい能力を持ってね。

いや、全然正確じゃないよ。確かにそういうことをする人もいるけど、大多数の人は普通の生活を送ってて、あんまりそういうことはしてない。こういうシニカルな考え方は、知的に怠けてると思うな。

それほど正確だとは思わないな。悪い人は少ないし、怠け者は大体問題を起こさない。最も実際的な被害は人間の愚かさから来るもので、ただ助けたいと思ってる大勢の人々から生まれる。愚かな人は、言われたことを盲目的に信じるんだ。そして、彼らは本当に悪いことをたくさんするけど、それは悪い人間で怠け者だからじゃなくて、愚かな目標を達成しようとするからなんだ。大体、ひどいプロパガンダをするリーダーたちもそんなに悪いわけじゃなくて、知的な失敗か、何かの精神的な問題を抱えてることが多い。彼ら自身は実際に悪いことをあまりしないけど、助けたいと思ってる優しい愚かな人々の群れが汚れ仕事をやってしまうんだ。

これは少数の人がやってるから正確だと思う。でも、そこに隠された警告と希望の物語は、大多数が立ち上がれば権力の分配を変えられるってことだよ。今は快適で甘やかされてて、行動するのが怖いから、こういう投稿が勇気を持って変化のために立ち上がることを思い出させてくれるんだ。

AIの「安全性」に関するすべての解決策は、銃規制と同じようなものだね。権力の中央集権化だよ。

俺もそう思う。核兵器は本当に恐ろしいし、LLMが悪い奴らに広まるのを防ぐのは難しいよね。善良な人たちが使っても、何も信じられない偽りの世界に向かっている気がする。LLMが本当に価値を加えられることを願ってるよ。

「AGIは不可能」という議論のスティールマン版を知っている人がいたら、ぜひ読んでみたいな。その視点がどう成り立っているのかも理解するのが難しいんだ。

この記事のポイントは、抽象的な超知能AGIが怖くないということじゃないよ。著者はそれがありえないと言っているけど、最初の段落は気を散らすものだね。この記事のポイントは、今日LLMを使っている人間が怖いモンスターだってことだよ。

正直、今すぐにでもAGIを作れると思う。知能の問題じゃなくて、状態を持つシステムのメカニクスの問題だよ。LLMはただの大きなマトリックスだし。でも、こんな感じの4行のコードループがあったらどうかな？ while true: update_sensory_inputs() narrate_response() update_emotional_state() LLMは連続した時間を経験しないし、エージェンシーを持つための明確な意思決定フレームワークもないけど、上のループはLLMを使ってAGIを作るために必要なコアループのように感じる。特に能力が高いAGIや怖いAGIではないかもしれないけど、目標は思っているよりも近いと思うよ。