「人間の直感なしに指数関数的に自己改善するのはまだ無理だと思う」 それに同意するよ。もしできるなら、もうやってるはずだから。例えば、ChatGPTが人気になり始めたとき、最初にやったことの一つが「auto-gpt」だった。要するに、自由にさせてみてどうなるかを見るってこと。未来のどのアクセス可能なモデルでも同じことが起こると思う。どこかの誰かがそれに自己改善させたり、できるだけお金を稼がせようとするはず。もしかしたら、研究所自体が新しいモデルのトレーニング後の運用の一環としてそれをやってるかもね。だから、既存のモデルがもしできるなら、もうやってるはずだよ。それが6ヶ月後や2年後に出る新しいモデルについては何も言えないけど。

これはLLM自体を改善するわけじゃなくて、その周りのソフトウェアのグルーを改善してるってことに注意してね（つまり、エージェントループやツールなど）。同じLLMを使ったことで、エイダーのリーダーボードで約20%の向上があったのは、モデルについてよりも、エイダーがソフトウェアのグルーの集まりであることを示してると思う。ただ、大きな研究所がこれをモデルのトレーニングエピソードと一緒にやってるのかは気になるね。

LLMは新しいデータと訓練を加えないと学習できないから、自分自身で「自己改善」するのは不可能だよね。でも、適切なツールがあればエージェントがどれだけできるかは分からないな。タスク管理システムやテストトラッカーへのアクセス、しっかりした要件やユースケースが必要だね。

何を改善することができるの？トランスフォーマーのアーキテクチャは非常にシンプルだよ。別のKVレイヤーを追加するの？非線形性を調整するの？次元の一つに1を加えるの？変なレイヤーを注入するの？（コルモゴロフの定理によって重みに含まれている可能性があるけど）現実的には、できることはプロンプトを進化させることくらいだね。入力データの前処理を変えることもできるかもしれないけど、現在のLLMアーキテクチャが自分のコードを通じて自己改善するという考えは、驚くほど調整する部分が少ないから、ちょっとおかしいと思うし、訓練するのは超高価だよ。ちなみに、現在のアーキテクチャが結果からの漸進的な強化学習に対してどれだけ耐性があるかはすごいね。もし「望ましくない入力」の結果が複数のトークンになったら、そのトークン間の結びつきを解きほぐすのは難しいから。（例えば、習近平とjin-gitaxiasをどうやって分けるの？）

彼らが通常定義される知性の意味で「賢い」わけではない証拠は、モデルが世界中のすべての本を「読む」必要があることです。専門家が自分の分野で最も代表的な本を2、3冊読むだけで近いレベルでパフォーマンスを発揮するためには。あなたのモデルがPythonのドキュメントを読むだけでPythonを学べるようになったら、AGIへの道が開けるでしょう...その時が来るまで...

同意します。徐々に自己最適化はうまくできるかもしれませんが、今のところは、超革新的なものは、数ステップ以上を考えられる人間から出てくると思います。初めはパフォーマンスが悪くなるかもしれない、より良いアーキテクチャやトレーニング方法が確実に存在します。

これを誤解しないでほしいけど、あなたの意見も vibes だよ。少し具体的にしよう。ARC AGI 1のチャレンジ/ベンチマークを見てみて。自分で問題を一つか二つ解いてみて。ARC AGI 1は2025年第1四半期時点でいくつかのLLMによってほぼ解決されています。次にARC AGI 2のチャレンジを見てみて。自分で問題を一つか二つ解いてみて。今日の時点では、LLMによって未解決です。人間にとってARC AGI 1と2の「難易度」は比較的同じですが、チャレンジ2はLLMにとっては1よりもはるかに難しいです。ARC AGI 2は12ヶ月以内に解決されるでしょう（私の予想は6ヶ月です）。もしそうでなければ、私は二度とHNでAIについて投稿しません。解決すべき問題は一つだけ、すなわち「LLMが人間のように本当に見るようにする方法」です。今のところ、モデルが示す視覚に基づく機能は、エンジニアリングの最大限の活用から来ています（つまり、画像スライスにCNNを適用したり、チャンクを扱ったり、ズームしてOCRを適用したり、ベクトル検索を行ったりなど）、それは私たちのような視覚ではなく、これらのモデルにとってネイティブな機能ではありません。それが解決されれば、LLMや新しいアルゴリズムは、画面キャプチャをフィードすることでコンピュータを完璧に使えるようになるでしょう。ホワイトカラーの仕事は2～5年後に終わるでしょう（今のように）。編集 - 「（今のように）」を追加しました。そして、欠けていた単語を修正しました。

まだ人間の直感なしに自己改善を指数関数的にできるとは思えないな。誰がそんなことを主張してるの？

壁はトレーニングデータだね。AIは自分のトレーニングデータを生み出せない。なぜなら、AIは自分のトレーニングデータより賢くなれないから。これはよく知られた回帰問題で、個人的には解決できないと思ってる。（もっと柔らかい表現だと、今の技術では解決できないってことかな。）

それはすごいことだね。AI/LLMが人類がまだ発見していない新しい公理や法則を作り出せるようになったら。

これは、小さなモデルや古いモデル、安価なモデルを使って、大きなモデルの出力を改善する技術を示しているね。私の理解では、これは逆なんだ。現在の最先端技術では、通常、大きくて高価なモデルが小さくて安価なモデルを訓練している。ここには二つの別々の側面がある。この論文では、モデル自体ではなく、モデルの周りのソフトウェアを改善しているんだ。彼らが言っているのは、ソフトウェアの改善が他のモデルにも適用されたから、モデル特有の癖に最適化しているだけではないということ。大きなLLMを先に訓練することについて君が言っているのは、通常「蒸留」と呼ばれていて、これは小さなLLMを一度にトークンの全分布に合わせるように訓練するんだ（だから実際には速いんだよ）。

モデルの重み自体を改善するのとは違うと思うよ。君が言ってる蒸留の例みたいにね。これは「ハーネス」やllmの呼び出しを動かしているコードの変更が、より強力なllmをラップすることに対して持続したり一般化したりするってことなんだ。つまり、より強力なllmが現れても、そのハーネスが調整されていなくても無駄にならないってこと。

私のお気に入りはいつもHumanEvalデータセットでした。問題: 1) GitHubリポジトリでトレーニングしたい 2) ほとんどのデータセットはダメになってる。GitHubでトレーニングすると確実にダメになる。解決策: 新しい問題を手書きで作成する!!! ... leetcodeスタイルで .... ... それがテストに合格するか確認します。例: この浮動小数点数の小数部分は何ですか？ GitHub全体でそんなコードは存在しないでしょう！ 確かにGitHub全体でn-gramでそんなコードをフィルタリングできます！ お気に入りの部分は、60人の著者がいて、しばらくの間事実上のベンチマークになったことです。

これは夜間トレーニングみたいなもんだよね？私の理解が正しければ、人間の脳は寝てる間に経験から学ぶから、毎晩コンテキストウィンドウから情報を取り出して微調整してるような感じかも。

正しいし、取り組んでるよ。混合エキスパートのアプローチを取って、結果を通信するための既知のインターフェースを共有するチャンクでネットワークを訓練することができる。このチャンクは独自に訓練できるけど、ここではセットの訓練データを持つことはできない。さらに進んで、クリーンなカテゴリ理論のモルフィズムを導入してアーキテクチャを変更すれば、ダイナミックなネットワークを構築できるけど、構造を変更するたびにこのネットワークを再訓練しなきゃいけない。これをさらに進めて、実世界の訓練データセットと、他のネットワークと競争しなきゃいけない損失関数の必要性を知ることができる。結局、人間の脳がこれを最も得意としていて、実世界に具現化されているんだ。ここで言いたいのは、私たちのニューロンは重みを受け取るだけじゃなくて、ある入力が別の入力の後に来るか前に来るかによっても発火するし、ナノ秒単位で違いがあるってこと。これはITでは比類がなく、もちろんもっと効率的だよ。でも、可能だと思うし、今はダイナミックな計算グラフに基づいた4D生命体の構築に取り組んでいるんだ。これはかなりすごいことだけど、今やっていることからはかなり遠いね。

もし訓練データからモデルを生成できるなら、たぶんそれは大丈夫だけど、反復時間は膨大で高価すぎて、今のところ実用的じゃないだろうね。自分の重みを適切に修正できるなら、それは…実際には不可能に感じる。

モデルの重みはコードだよ、それについては[0]を見てみて。これは、MLPでNANDゲートを使ってブール論理をエンコードする方法を示している。表現力はあるけど、唯一の問題は、特に手動でその関数を書く方法が分からないときに、どうやって有用な関数をその重みにエンコードするかだね。[0] http://neuralnetworksanddeeplearning.com/chap1.html

さて、ここが難しいところだ。違いは何だと思う？真剣に考えてみて。自分が出した答えに挑戦してみて。これが思っているよりも難しいことを保証するよ。

報酬ハッキングはフロンティアラボでよく知られた問題です - 例えばClaude 4のシステムカードがそれについて報告しています。現在のLLMに基づいたフレームワークが報酬ハッキングの傾向を持つのは驚くことではありません。このスタックの部分で私が興味を持っているのは、どのようにしてそれを特定し、軽減するかということです。