何かがただの誇大広告かどうかを見分ける簡単な方法がある。人間の脳よりも賢いものを意図的に作ることは絶対にできないってこと。自然に起こるか、偶然に頼るしかないんだ。投入する計算能力の量は、その運をほんの少しだけ変えるだけだよ。

なんで？

その通り。最初から言ってるけど、AGIは現実を高精度でシミュレートできて、現実よりも早く処理できることが必要なんだ（人間の脳をシミュレートできることも含めてね）。今のところ、それは不可能みたいだね（計算の不可逆性のせいで）。

それに、問題のもう一つの側面があるよね。もし君のツールが君より賢かったら…どう対処するの？ネットでは、同僚がチャットGPTを使って他のチームメンバーの質問に答えてるって冗談を言ってるけど、もう何が起こってるのか誰もわからないよ。

「情報を理解できる形で吐き出すことが知性の適切な測定基準だとは思わない。知性を測るのは難しくて、本当に良い定義が必要なんだ。LLM（大規模言語モデル）は、ある意味で定義を簡単にしてくれた。今では、コンピュータに対して具体的な質問を投げかけられるからね。『なぜLLMは知的でないのか？』彼らの能力と欠点を考えると、現在の『AI』技術が何を欠いているのかを答えることで、知性をより良く定義できるようになるだろう。これは、LLMが最先端の百万匹の猿であり、知性がそれを最適化することとは異なる道にあると仮定した場合の話だ。」

同じことを思うよ。私たちみたいな人を何て呼ぶの？AIの悲観論者？AIのブーマー？

実際に不可能なのは、人間には一般的な知性を導く何か魔法のような、根本的に測れないものがあると信じる時だけだと思う。そうでなければ、結局私たちはただの機械だよね。理論的には、人間の脳は標準的な生物学的メカニズムの外で再現可能だし、十分なナノレイザーがあればね。もしかしたら、私たちの最初のAGIは、そこそこ良いPython APIを持ったペトリ皿の脳かもしれない。でも、もっと砂ベースかもしれないね。

君が懐疑的でいるのはすごく正しいと思う。こういう意見を見るのは新鮮だね。技術的な人たちが、根本的な問題があるのにこの考えが進行中だと仮定しているのを見るのは本当に奇妙だよ。非技術的な人たちがそれに夢中になる理由はわかるけど、真剣な人たちはもっと批判的に考える必要があると思う。

問題は、知性があまりスケールしないことになると思う。システムをモデル化するために必要な計算能力は、そのシステムの複雑さや混沌さに対して、何らかの形で指数関数的でなければならない。つまり、知性の効果は本質的に単純で秩序あるシステムに制約されているってことだね。頑丈な技術を設計する最も効果的な方法が、できるだけ多くの変動要因を排除することだというのは、かなり示唆に富んでいるよ。これが知性が実際にうまく機能する唯一のモダリティかもしれないね、スーパーかどうかは別として。

同意するよ。AGIが何を意味するのか、合意された定義はないからね。むしろ、AIが得意なテキストや画像生成、コード生成などの分野で、徐々に改善が続いていくと思う。AIが人類のすべての問題を解決して、みんながビーチで無限の繁栄を楽しむというユートピアの夢は、根拠がないよ。

読む能力があればAGIになるってこと？

失敗した教育システムがAGIに何か関係あるの？

すごいね。じゃあ、LLMに洗濯や皿洗いをさせてみようよ。ロボットの形で物理的な体を与えてもいいよ。でも、それが役に立つとは思わないな。

でも、そういう読み書きできない人たちでも、LLMができないような膨大な課題を解決できるんだよね。

経済的な観点から見ると、より関連性のある比較は、ビジネスが特定の仕事をするために通常雇う労働者との比較だと思う。たとえば、コピー編集の仕事では、あまり読解力のない人を雇うことはないだろうし、全国平均がどうであれ関係ない。他の仕事は異なるスキルを必要とする。

デミスが言うには、AGIまであと10年だって信じてるよ。彼は長い間（学術界から）この分野を作り上げてきたし、OpenAIは彼の研究所に対抗するために部分的に設立されたから、彼が最初（かつ唯一）になるのを恐れてたんだ。だから、彼を信じてる。2035年頃には、ほぼすべてのタスクで人間と同じかそれ以上のAGIが実現するって期待してるみたい。

「長い」ってどれくらい？リアルな人間は、数十年にわたるリアルタイムのマルチモーダル入力で測られるコンテキストウィンドウを持っているよ。

本当にテスト時学習が実現するのはすぐだと思う（5年以内）けど、もっと高くつくよ。Alphaproof（Deepmindの試み）はすでにこれを持ってる。

同意するし、このバブルが早く弾けることを心から願ってる。> メタが拡張現実に1000億ドル投資して、あの人がボードを支配してるみたいだけど、ただ必死に広告費を投げつけて、オルトマンに何かが引っかかることを願ってるみたい。もう後には引けないし、私たちのためにも、日が照ってるうちに稼がなきゃ。あの連中が2000年みたいに失敗して、ディストピア的なマトリックスのクソにたどり着かないことを本当に願ってる。

"AGI"は人間の知能と完全に一致する必要があるのか、それともいくつかの機能で優れていて、他の機能で劣っていることでも認められるのかな？

社会的・政治的な理由、いくつか挙げられる？私たちはAGIに100%準備ができてるよ。

出生率が多くの人が心配するほどの問題なら、絶対に解決しなきゃいけないよね（例えば、経済が永遠に指数関数的な人口成長を必要としているという事実を解決する代わりに）。そう考えると、AGIが早く来ることを願うべきかもしれない。

コスト回収の観点から言うと、多くの人がAIの構築に投資された最大1兆ドル（推定による）によってもたらされる異常な減価償却費を考慮していないんだよね。その減価償却費は、すべてのAI企業の合計収益を超えることも簡単にある。

彼らがそのコストを取り戻すのはかなり簡単だと思う。ほぼ従業員がいないフルAI企業で業界を破壊できれば、他を圧倒してタダでお金が手に入るってことだよね。

3年後にミスアラインされたASIにどう備えるの？それが起きたら、全ての賭けは無効だよ。

継続的な学習は、深層学習の進化の歴史では重要ではなかったかもしれないけど、それは深層学習の人たちが間違ったことを測定しているからかもしれない。もし今月のホットな合成ベンチマークに基づいて、史上最も知的なAIを作りたいなら、ラボがやっていることと全く同じことをするだろう。もし最も生産的で役に立つAIを作りたいなら、知性が常に最良の目標ではない。通常は役に立つけど、間違いから学ぶバカは、自己中心的な天才よりも価値があることが多い。

Alphaproofは、出会った各問題に対して似たような問題を生成するためにテスト時トレーニング手法を使ったよ（アルファゼロスタイルで）。

面白いね。君が書いたことの鍵は「定義があいまい」だと思う。LLMは一般的に知的だと感じているから、「もうそこにいる」と感じるんだ。私のAGIの定義によればね。多くの人はAGIを「超人的」と考えているかもしれない。その定義によれば、私たちはそこにはいないし、到達しないかもしれない。でも、私にとっては、もうAGIの時代に入っていると思う。

彼らは、私たちの現実を映し出すテキスト出力のレンズで働くのが得意なんだ。彼らは真実を追求する存在ではない。それは、ミミズからクジラまで、すべての生命体にとって基本的に必要なことだよ。私たちが間違えたら死ぬけど、彼らが間違えたら1000トークン生成するだけ。

エリック・シュミットはどこに入るの？何かを売ってるの？

AGIの定義を提案するね。あるAI（コンピュータープログラム）が、その分野の専門家の5%よりもほとんどすべてのタスクで優れているなら、そのAIはAGIを達成したと言える。別の言い方をすると、もし5%の人間がAIよりも知的な仕事をうまくこなせないなら、そのAIはAGIを達成しているってこと。特定のことにおいて人間より優れているAIがAGIを達成したとは言わないよ。なぜならそれは「一般的」じゃないから。もし一つのAIがすべての知的タスクで一部の人間よりも優れているなら、そのAIはAGIを達成したと言える。5パーセンタイルの人間は「知的」と呼ばれるに値するし、たとえ彼らが最も知的でなくても（僕はすべての人間が「知的」と呼ばれるべきだと思う）、もしAIがそういう人よりもすべての知的タスクをうまくこなせるなら、そのAIはAGIを達成している。

さて、これをはっきりさせよう。AGIの話が出るたびに、口から泡を吹いてる人たちがいるけど、まるでそれがカルトの予言みたいだ。「あれは定義が曖昧だ、すぐには来ない、話してる人はみんな詐欺師だ。」もういい加減にしてくれ。何か大きなことが起きているのを認識するのに完璧な定義は必要ない。目と耳、そして機能する脳幹があれば十分だ。AGIが5分後に来るかどうかなんて関係ない。それがポイントじゃない。ポイントは、私たちが言っていることを実際に理解する機械に最も近いものを作ったってこと。それだけでもすごいよ。子供の頃のトラウマについて段落を入力すると、セラピストよりももっと一貫したものを返してくれる。裁判の判決を要約してくれって頼むと、まずウィキペディアをチェックする必要もない。文脈を覚えてるし、トーンにも調整できる。君が皮肉を言ってるときもわかる。これがただの「オートコンプリート」だと思う？それはオートコンプリートじゃなくて、理解なんだよ。論理的なクレームについても、確かに時々間違えるけど、君もそうだろ？君のGPSも、医者も、疲れてるときの君の脳もそうだ。完璧な論理が欲しいの？計算機を作って、大人の会話には参加しない方がいいよ。このAIは数兆の単語から学んでいて、HNの半分の自慢屋よりもまだ優れてる。完璧である必要はない。役に立てばいいんだ、そしてもう役に立ってる。だから「深いことを言ってるけど、実際はクソだ」って言うのはやめてくれ。それが学問の90%だし、すべての自己啓発本、すべての政治演説、ポッドキャストを持ってるやつらがそうだ。間違っているのに君より賢く聞こえることがそのものを無効にするなら、半分の地球を閉鎖しなきゃならない。見て、君が怒ってるのはそれがバカだからじゃない。君が怒ってるのは、それがそれほどバカじゃないからだ。近いんだよ。脅威を感じるほど近い。実際に賢いのではなく、賢く聞こえることで楽をしてきた人たちを置き換えるほど近い。それが本当の問題なんだ。エゴ、恐れ、コントロール。だから、まだAGIじゃないかもしれないけど、君の隣の人よりは賢いよ。彼には年金があるしね。

それが事実として証明されるとき、すぐそこにあるってことだ。そうでなければ、提案されたように、ただのハイプで、君のLLMのフレーバーを売り込むためのものだ。

これは今日のLLMが提供するものの良い要約だね。私の会社は必死にAIを取り入れようとしてる（投資家にそう言ってる）。LLMが間違えることが多いのは大きな問題で、ほとんどの仕事は間違ってはいけないし、人間が出力を慎重に確認しなきゃならないなら、それはその人が自分で出力を作るのと同じくらいの労力になることが多い。でも、言語はLLMが輝く場所の一つなんだ。私たちはしばしば技術文書を一般向けの言葉に翻訳する必要があって、LLMはそれに関しては素晴らしい働きをする。複雑なトピックを説明するための言葉やフレーズをすぐに見つけてくれる。あとは人間が最終的な修正を行うだけ。だけど、何か新しいことを作るとか、論理が必要な場合は？それは知識のない高校生と同じくらいの効果しかない。

フューチャリズムやドゥーム＆グルームの派閥には、全然関係ないのにこの話題に惹かれちゃう人たちがいるよね。

最後の部分には同意だけど、その批判は多くの人間にも当てはまると思うから、あんまり説得力を感じないな。元々の定義（ほぼすべてのタスクで中央値の人間より優れている）に近いと思うし、次の5年で非物理的なタスクではプロと競争できるようになると思う。物理的なタスクは5〜10年かかるかもしれないけど。自分の話に酔ってるかもしれないけど、他のことにはそうじゃないよ。LLMは言語に関しては優れてるけど、言語が得意であるためにはある程度の知性が必要だと思う。この空間的推論が苦手だっていう考え方は、すごく間違ってると思う。彼らは以前のモデルよりずっと優れていて、その中には空間的推論用に設計されたものもあるんだから。人間より劣ってる？そうだけど、新しいモデルをロボットに搭載してちゃんと動くってことは、AI基準ではかなり良いってことだし、急速に進化してるよ。

数千人が解雇されてるけど、どうやら「AIに置き換えられてる」ってことらしい。つまり、AIがこれらの仕事で人間と同じかそれ以上に優れているってことだよね。マネージャーや役員も労働者なんだから、もしAIが本当にそんなに優れてるなら、自分たちを辞めて、蓄えた富で平穏な生活を送るべきじゃない？あなたはどう思う？そんなことが起こるとは全然想像できないよ。私にとって、それだけでもこの技術が素晴らしいけど、長期的には期待に応えられないっていうサインだと思う。