サルカズムを感じるかどうかわからないな。

人間があなたが定義した一般化可能な推論を行えることを示す。 私は「その能力を曲線にプロットする」ことも追加したい。私の直感では、SotAモデルはすでに多くの分野で中央値の人間の能力を超えていると思う。

この論文の文脈では、「一般化可能な推論」とは、パズルを解く方法を見つけ、その方法を任意の複雑さのパズルインスタンスに適用できることを意味すると思う。

自動運転車に似てるよね。どちらもすぐそこにあるけど、曲がることができない。

LLMは「ジュニア開発者」のように扱い続けることになるだろうね、永遠に。

進捗は80%くらいまで来てると思う。簡単な部分は終わったけど、難しい部分は本当に難しくて、進展には何年もかかる。

何が変わったと思う？状況は数年後のAGIにとってまだかなり期待できると思うけど、もっと良くなってるかもしれない。こういう論文は、エンジニアリングの努力をどこに向けるべきかを示している学術的なものだし、克服されたものよりも簡単な課題が比較的少ないように見える。例えば、機械学習がハノイの塔を解決できることは知ってるよね。バドゥクのように根本的に複雑ではない。次に克服すべき壁は、もっと低いフェンスみたいなものだよ。それに、AIはすでにチューリングテストを通過してるし（少なくとも、あまりにも理路整然としていて合理的だから失敗する可能性が高い）。私たちはすでにAGIを達成したというかなり良い議論があって、今はAGIに人間レベルや超人レベルの知能を達成するために取り組んでいるところなんだ。

確かに、技術のシグモイド曲線は、変曲点の直前で最も急激に上昇するから、革新がどの時点で鈍化するかを予測するのは難しいよね。初代ボーイング747が登場したのは1968年で、初めての有人飛行からたった65年後のことだよ。当時の人に、次の57年間で民間航空が根本的にあまり変わらないって言ったら、誰も信じなかっただろうね。

…でも、それって、2年前の話じゃない？もしGPT2からAGIに10年で進化したら、それでもめちゃくちゃ早いって感じるよ。

「確率的オウム」という言葉を覚えているし、みんながそれは高級なマルコフ連鎖や行き止まりだと言っていた。エージェンティックコーディングが登場してからはあまり聞かなくなったね。

全知でありながら鈍い状態が人間の知能で頭打ちになる理由はないよね。

AIのマキシマリストは、モデルが実際に鈍さを減らしていると考え続けるだろう。 私はAIの進歩に対して楽観的（でもちょっと怖い）なんだけど、ここ数年でほんの少し鈍さが減っただけだと思う。でも、実際の能力は、知識やセンス、文脈、ツールなどのおかげで大きく向上している。怖いのは、推論やエージェンシーの能力がまだ足りない気がすること。つまり、今の状態から一歩か二歩のブレークスルーで、ちょっと全知的で、すごく早く考えることができるようになるかもしれないってこと。そうなったら、本当に恐ろしいよ。AIが人間を出し抜くことができるって想像できている人は少ないと思う。例えば、今のAIが人間よりも詩を作るのが得意だとしたら、質もそこそこ良くて、超速いってことだよね。まるで、自分より遥かに賢い人と話しているとき、その人が6手先を読んでいて、自分の思考を誘導していることに気づくような感じ。これが全てのスケールで起こるんだ。この「より良い推論 + エージェンシー」は、今の最前線の研究者たちにとっても最優先事項だから、ブレークスルーはそう遠くないかもしれない。別の言い方をすると、今のLLMはほとんどの分野でスナップジャッジメントが得意な人間の中で最高のレベルに達していると思う（テキストから雰囲気を推測するのは特に得意だろうね）。でも、彼らは以下の点でちょっと苦手だと思う：1. 長期間にわたるステップバイステップの推論や戦略立案 2. 専門的な戦略的な人間があまり考えずに行動できるような瞬時の判断。長期的な思考が得意になるには、もっと大きなアーキテクチャの変更が必要かもしれない（例えば、既存の素晴らしい「システム1」トランスフォーマーモデルを補完する「システム2」推論アーキテクチャ）。一方で、もっと良いトレーニングデータやアルゴリズムがあれば、モデルが十分な戦略的センスやエージェンシーの直感を発展させて、最適解に素早く到達できるかもしれない。もちろん、問題が本当に難しくて簡単なブレークスルーがないかもしれないし、今の私たちがアクセスできる計算能力の100,000倍が必要かもしれない。でも、確実性はないけど、恐ろしいブレークスルーが可能だと思う。

著者たちが捉えようとしている直感は、彼らがモデルを全知でありながら鈍いと思っていることだと思う。私たちはこの技術に人間の形容詞を当てはめて、私たちが発明した巧妙なトリックを擬人化している。これらのツールには「全知」でも「鈍い」でもない。彼らには機知がないし、考えたり推論したりもしない。大規模な「推論」モデルがすることは、最終的な答えを生成するためのコンテキストとして使用するデータを生成することだけだ。つまり、合成データに基づいてリアルタイムで調整している。これは巧妙なトリックだけど、幻覚のようなこれらのモデルが抱える根本的な問題を解決するわけではない。「推論」プロセスにゴミが含まれていたり、ループにハマったりすると、最終的な答えもゴミになる。モデルが最初の「推論」ステップで正しい答えに近づくことがあるけど、その後無意味な「でも待って！」というフォローアップステップでそれを台無しにするのを見たことがある。最終的な答えは、「推論」フェーズで生成されたゴミのごちゃ混ぜになってしまう。私たちがこれらのツールを擬人化し続けるのは、気分が良くなるからだ。これは願望的な思考で、マーケティングにはうまくいくし、投資家をワクワクさせ、さらなる盛り上がりを生む。実際には、私たちは10年前と同じくらい人工知能から遠い。今あるのは、問題に対して投げかけることのできる膨大な計算能力を活用できる非常に優れたパターンマッチャーと確率的データ生成器だけだ。これは非常に役立つ可能性があるけど、人間の特性を当てはめると議論が混乱するだけだ。

人間はできない 人間ができない理由と、LLMができない理由は全く異なる。LLMはしばしば掛け算をすることができないが、多くの人間は単にやりたくないだけだ。

私は「LLMは20桁の数字を掛け算できない」というのとどう違うのか、正直よくわからない。ちなみに、ほとんどの人間もできないけど、私は一度（ペンと紙を使って）やってみたけど、どこかで常に間違えてしまった。人間はコンピュータが登場する前にミサイルや精密工学（ジェット機など）を作り出していた。人間は考える時間を増やし、より良い戦略を発明し、もっと紙を使うことで、そういったことを信頼性高く行うことができる。私たちの脳はそのような計算をするために作られてはいないけど、一般的な知能は持っているもので問題を賢く解決できる。

大規模言語モデルをポリシー教師として強化学習エージェントの訓練に利用する >この論文では、LLMベースの教師エージェントからの指示を使って、より小さく専門的な学生RLエージェントを訓練する新しいフレームワークを紹介します。教師エージェントからのガイダンスを取り入れることで、学生エージェントはLLMの事前知識を自分のモデルに凝縮できます。その結果、学生エージェントは大幅に少ないデータで訓練できるようになります。さらに、環境からのフィードバックを使った追加の訓練を通じて、学生エージェントは目標タスクを達成するために教師エージェントを超える能力を持つようになります。 https://arxiv.org/abs/2311.13373