この記事はすごく好きだけど、悲観的だね。残念ながら、今の文化はそういう感じみたい。怒りや恐怖がエンゲージメントを効果的に生むのは、昔から変わらない。ニュース組織では「血が流れれば、リードする」ってのが70年代からずっとあったしね。煽って利益を得る人たちが流す見出しを無視すれば、私たちは前の世代が耐えなければならなかった苦しみがほとんどない奇跡的な現代に生きているんだ。問題はあるけど、日々その数は急激に減っているよ。別の見方をすると、人間はいつもやろうとしてきたことをするだけだよ—作り上げたり、力を与えたり、工夫したり、治療したり、最適化したり、創造したり、あるいは他の人と協力して自分たちのコミュニティのために働いたり。でも今は、夢にも思わなかった新しい能力を持ってね。

いや、全然正確じゃないよ。確かにそういうことをする人もいるけど、大多数の人は普通の生活を送ってて、あんまりそういうことはしてない。こういうシニカルな考え方は、知的に怠けてると思うな。

それほど正確だとは思わないな。悪い人は少ないし、怠け者は大体問題を起こさない。最も実際的な被害は人間の愚かさから来るもので、ただ助けたいと思ってる大勢の人々から生まれる。愚かな人は、言われたことを盲目的に信じるんだ。そして、彼らは本当に悪いことをたくさんするけど、それは悪い人間で怠け者だからじゃなくて、愚かな目標を達成しようとするからなんだ。大体、ひどいプロパガンダをするリーダーたちもそんなに悪いわけじゃなくて、知的な失敗か、何かの精神的な問題を抱えてることが多い。彼ら自身は実際に悪いことをあまりしないけど、助けたいと思ってる優しい愚かな人々の群れが汚れ仕事をやってしまうんだ。

これは少数の人がやってるから正確だと思う。でも、そこに隠された警告と希望の物語は、大多数が立ち上がれば権力の分配を変えられるってことだよ。今は快適で甘やかされてて、行動するのが怖いから、こういう投稿が勇気を持って変化のために立ち上がることを思い出させてくれるんだ。

AIの「安全性」に関するすべての解決策は、銃規制と同じようなものだね。権力の中央集権化だよ。

俺もそう思う。核兵器は本当に恐ろしいし、LLMが悪い奴らに広まるのを防ぐのは難しいよね。善良な人たちが使っても、何も信じられない偽りの世界に向かっている気がする。LLMが本当に価値を加えられることを願ってるよ。

「AGIは不可能」という議論のスティールマン版を知っている人がいたら、ぜひ読んでみたいな。その視点がどう成り立っているのかも理解するのが難しいんだ。

この記事のポイントは、抽象的な超知能AGIが怖くないということじゃないよ。著者はそれがありえないと言っているけど、最初の段落は気を散らすものだね。この記事のポイントは、今日LLMを使っている人間が怖いモンスターだってことだよ。

正直、今すぐにでもAGIを作れると思う。知能の問題じゃなくて、状態を持つシステムのメカニクスの問題だよ。LLMはただの大きなマトリックスだし。でも、こんな感じの4行のコードループがあったらどうかな？ while true: update_sensory_inputs() narrate_response() update_emotional_state() LLMは連続した時間を経験しないし、エージェンシーを持つための明確な意思決定フレームワークもないけど、上のループはLLMを使ってAGIを作るために必要なコアループのように感じる。特に能力が高いAGIや怖いAGIではないかもしれないけど、目標は思っているよりも近いと思うよ。

「AIには主体性がない」っていうのは信じてないよ。今はそうかもしれないけど、現在のLLMではすでにそれを回避してるから（ウェブアクセスを与えるとか）。彼らには主体性がないのは、持続的な状態がないから。クエリを投げて答えを得る関数みたいなもので、その答えの間は状態があるけど、終わったらその状態は消えちゃう。人間（や他の「エージェント」）は持続的な状態を持ってる。何かを学ぶと、それを長期記憶に定着させて行動に影響を与えることができる。これが長期的な目標に向かうのを可能にするんだ。現代のLLMにはそれがない。大きなコンテキストウィンドウを使って長期記憶を偽装することはできるけど、生命体がするのと同じようには機能しないみたい。

スタートレックがやった最悪のことは、子供たちの世代に「何でも可能だ」と信じ込ませたことだよ。想像したからって、それが現実になるわけじゃないし、現実になり得るわけでもない。例えば「レプラコーン」って言うと、ほとんどの人が同じイメージを思い浮かべるけど、それは実在しないし、実在することもない。君が想像しただけなんだ。

進化するAIの可能性を否定するのは単なる無知だと思う（大きな盲点だね）。とはいえ、著者の言うことは正しいと思う。人間が意図的にAIを使うことで生じる望ましくない影響（リスク）が「独立した」AIの前にある可能性が高い。すでに起こってるし、ずっとそうだった。どんどん良くなってるだけ。だから、この事実を無視すると「独立した」悪意のあるAIが赤いヒerringになっちゃう。最初のポイントについてだけど、LLMはほぼすべての空気を吸い取っちゃった。LLM（とGPT）はAIの一例に過ぎない。始まりでもないし、おそらく終わりでもない（ただの行き止まりだよ）。その両端にこだわるのはナイーブだね。

これが具体的に現れる方法の一つは、多国籍企業の構成要素をアルゴリズムに一つずつ置き換えることだと思う。いろんなレベルで人が関わるだろうけど（営業は魅力的な人たちがいるかもしれない）、ドライバーはアルゴリズムになるだろう。そして、この企業のドライバーは、利益最大化の制約の下での適者生存、つまり私たちが設計し強制したアルゴリズムなんだ。これがペーパークリップ最大化者を生む理由だよ。この企業サイボーグに命を与えるのは技術的な成果ではなく、法律なんだ。技術的にはサイボーコープを完全にシャットダウンすることはできるけど、それはマイクロソフトを技術的にシャットダウンできると言っているのと同じことだ。そんなことは起こらないよ。

人々が私たち自身がよく理解していないこと（知性、意図、主観、心の状態など）を、好ましいシンボリックな出力を生み出すからという理由でコンピュータープログラムに帰属させるのが理解できない。私たちが作ったから、出力の何が望ましいかを判断するのは私たちなんだ。もし私たちがそれを見たとしても、超知性を認識できるとは思えない。認識は親しみを意味するから。もし「AGI」が完全に自己ホストされた現象になるまでは、あなたはまだ人間のエージェンシーを観察している。AIを設計し、構築し、訓練し、最初に決定を委任したのは私たちなんだから。この事実から逃れることはできない。もし魔法の8ボールを振って、それが言ったことを実行することで利益が得られるなら、8ボールにエージェンシーがあるとは言わないだろう。今のところ、それは人間が作ったものに似た出力を生み出す機械なんだ。使っていない時は、他のプログラムと同じで、実行されていないだけ。自分自身で存在しているわけじゃない。私たちはただ、従来の言語の使い方から擬人化しているだけなんだ。もし将来的にLLMが誰にも指示されずに自ら接触を開始したら、驚くよ。でも、そんなことが起こる理由はないと思う。

まるで「空気より重い飛行は不可能だ」って言ってるようなもんだね（公園で鳩に餌をやりながら）。

光速より速い移動のアイデアを否定はしないけど、私の知る限りでは、ワームホールや「空間を折りたたむ」みたいなアイデア以外に確認する手段はないよね。AIも否定はしないけど、今売られているものにはちょっと懐疑的。まるで「マッハ1000で飛べるロケットを作った！」って言ってるのと同じ。確かにすごいけど、光速にはまだ2～3桁足りないからね。それに「100年後にはどうなるか想像してみて！」って言われても、ブランド名に文句を言いたくなるのは変わらないよ。これは単なる言葉の問題じゃなくて、原則の問題なんだ。それに、その時点では時間の遅れについて本格的に対処し始めたばかりで、進めば進むほどもっと深刻になるってわかってるしね。こういう偉業を使って、そういう問題にどう対処するかを話し合うこともしてないし、それが一番イライラするところなんだよね。

まだ「知能」って何なのか、全然わからないよね。何を重視するかによって、世界で二番目に賢い動物って全然違ってくるし。

「私たちを作るのではなく、エイリアンを作ってしまうことを多くの人が無視している。私たちを作るのは良い結果だよ。少なくとも私たちのことは少しは理解しているから。自己学習、自己組織化のコードを使ってエイリアンを作ると、出てくるものには全く手がかりがない。」

銃は人を殺さない * SIG P320がチャットに参加 *

100%同意。ただ、私たちを殺すものが夜も眠れない原因だよね。[1] https://ourworldindata.org/does-the-news-reflect-what-we-die...

個人的には、AIが今世紀中に私たち全体の種に対する現実的な絶滅の脅威だと思ってるし、完全な核戦争はそうではなかったし、これからもそうならないと思う。気候変動もそう。今の文明が崩壊する？それはあり得る。絶滅？それはないと思う。AIに競り負ける道の方が、リーダーたちが核戦争を始めるよりも強いインセンティブがあると感じてるよ。

他の終末的なリスクがあるからって、これを無視する理由にはならないよ。AIについては、放置したら終末的な形になる可能性が高いからね。

それに、我々が今や不可逆的にグローバルな気候システムを不安定にすることを決めてしまったっていうのもあるよね。その相対的な予測可能性が、我々の文明全体の基盤だったのに。これからどうなるか、楽しみだね。

みんな自分の分野が一番重要で、注目や資金を受けるべきだと思ってるよね。驚きだね。

みんなAGIを死ぬほど恐れてる これってかなり大げさだと思う。影響力のある少数の人たちがAGIを死ぬほど恐れてるか、少なくとも資金を集めるための口実にしてるだけだと思う。でも、実際にもっと恐れるべきことがたくさんあるのは同意するよ。気候変動が人類にとって最大の存在的脅威だと思ってる。

ウクライナで戦術核兵器の使用に非常に近づいたという信頼できる証拠がすでにある。それが制御を失う可能性が高い。確かに核兵器はもっと現実的な脅威だと思う。だから、これはちょっとした余談で、君のポイントを弱めるものではないけど、実際には核兵器の使用のダイナミクスを広く誤解していると思う。核兵器は長い間使われていないし、みんな使うことが必然的にエスカレーションにつながって全滅に至ると考えてる。でも、ロシアがウクライナで戦術核を使ったら、どうやって制御を失うの？実際には、同じように反応されることはないように思える。それ自体が非常に恐ろしいことだよ。核兵器の常態化みたいなものだね。

ウクライナで戦術核兵器を使ったとしても、制御を失う証拠はないと思う。アメリカ、イギリス、フランスが介入しないと考えてる。彼らのリーダーたちは、他人の命でなくても自分の命を大事にするからね。

ウクライナで戦術核兵器の使用に非常に近づいたという信頼できる証拠がすでにある。それは制御を失っていた可能性が高い。どう制御を失ったの？戦争はすぐに終わったんじゃないの？

ウクライナで戦術核兵器の使用に非常に近づいたという信頼できる証拠がすでにある。それは制御を失っていた可能性が高い。この信頼できる証拠を共有してくれる？

そうだね、でも：冷酷さ + 強さ + WMD ≠ 知性

AIの実現可能性がサイエンスフィクションと何の関係があるのか、よく分からない。もし何かの魔法（魂や神のひらめきなど）を信じない限り、人間の認知が機械によって再現されるのは完全に避けられない結論のように思える。AIを考えるずっと前から、「言語」は人間の知性の決定的な特徴（「劣った動物」との違い）だったと思うし、動物の能力を遥かに超える言語処理や理解のベンチマークを達成すること自体が非常に強い指標だと思う。

あなたの意図かは分からないけど、これは私たちの業界を支配するテクノリバタリアニズムの強い批判に読める。高い信頼の協力システムを、互いに敵対的なものに置き換えることで、私たちは何かを失っている。裏切り者を排除するどころか、最高の道徳的善として持ち上げ、模範とすることで、囚人のジレンマの悪循環に陥っている。