RLの重要性が増しているのは確かだね。外部から見ていると、最近のモデルの能力向上はほとんどRLから来ているから、パフォーマンス向上のためにRLをもっと活用するのは自然な流れだと思う。RLをスケールアップするのは、そのための自然なアプローチだよね。ただ、一般化の要素が見えないのが気になる。例えば、RL学習を通じてソフトウェアエンジニアリングや数学のパフォーマンスを向上させるとするじゃん（ソフトウェアエンジニアリングの方が数学よりもトレーニングコーパスが豊富だから、たぶん簡単だろうけど）。もしその一般化の要素が成立しなかったら、経済的にはどうなるんだろう？専門レベルのソフトウェアモデルは職業には役立つけど、他の業界に適用できないなら、トレーニングコストを回収できるほどの価値があるのかな？

俺もこれを探求してるんだ。ソフトウェアを作るのにLLMに頼ってるからね。気づいたのは、開発ループのライティングやテストはほとんど人間がガイドしてるけど、言語モデルは推論でよく俺たちを上回ってるってこと。もっと自動化を進めると、MCPツールでブラウザを制御したり、ドキュメントを読んだり、要件を分析したりできるから、サイクルをもっと自動化できて、人間の関与を減らせると思う。この文章では、モデルを何千もの環境にさらしてRLをスケールアップすることを提案してるけど、複数のエージェントをチェーンすることで似たようなことはすでに達成できると思う。1. ブラウザツールを使ってドキュメントから詳細な仕様を作成する「要件」エージェント。2. ブラウザやCLIを介して環境（Docker、ビルドツール）をセットアップするコーディングエージェント。3. 再びツールを使って仕様に対してコードを検証するテストエージェント。4. テスターが結果に基づいてコーダーをガイドするフィードバックループ。これを組み合わせると、このシステムは特に小規模なプロジェクトにおいて完全に自律的な開発パイプラインになる。実際、俺はマシンを一晩中動かしておいて、これらのエージェントが新しい機能を提案して実装し、テストを実行して、合格したらリポジトリにプッシュするんだ。意外と上手くいくよ。主な障壁はコストだね。多くの強力なモデルを立ち上げるのは高くつく。でも、控えめな規模でやれば、この方法はかなり効果的だよ。

各レプリケーションタスクは詳細な仕様と参照実装から成り立っています。AIモデルは、参照の動作に正確に一致する実装を生成するように訓練されています。この明確なアプローチは評価を大幅に簡素化します。評価基準は客観的で直接的だからです：生成された実装が参照と同じ動作をするか、しないかのどちらかです。 でも、詳細な仕様を作成するには、参照実装から逆算しなきゃいけないんだよね。これは非常に簡単ではなく、TFAが事前学習と類似している点を大きく弱める。事前学習では、実際には生のテキストコーパス以外の入力は必要ないから。これがアイデアを完全に排除するわけではないけど、かなり足かせになってると思う。

「GPT-3の瞬間」ってちょっと大げさな表現だと思うんだよね。GPT-3はタスク特化のファインチューニングが不要になったけど、記事によるとRLはLLMスタイルの事前学習を置き換えるわけじゃないみたい。だから、これはGPT-3が示したパラダイムシフトよりも、むしろ漸進的な進歩って感じ。とはいえ、もしRLの一般化が実現すれば、それはすごいことだよね。大規模なRLが一般化を解放するっていう主張は、MLでスケーリング仮説が実現してきたのを見てきたから、そんなに驚くことでもないと思う。でも、ソフトウェアでの「複製トレーニング」は面白いね。既存のプログラムをコピーすることで、客観的な評価基準を持つ複雑なトレーニングデータがたくさん得られる可能性がある。私にとっての大きな疑問は、ソフトウェアの複製から学んだスキルが他の推論タスクに一般化するかどうか。これはかなりの「もし」だね。うまくいけば素晴らしいけど、ダメなら意味がない。

これはソフトウェア、数学、ゲームにはうまくいくけど、複雑な現実のタスクにはどうかな？チャットログからの後知恵学習が役立つかもしれないと思う。どういうことかというと、長い会話を想像してみて。AIの応答が役に立ったかどうかをすぐに判断するのは難しいけど、次の20メッセージがわかれば推測しやすいかも。どう進んだかが見えるだけでなく、時には現実の検証も得られる。例えば、ユーザーがLLMにタスクを持ち込み、アイデアを試してみる。そして後で戻ってきて、新しいチャットセッションでさらに反復する。これによって、LLMの応答が実際に人々によってテストされることになる。これを使って「好みスコア」を生成し、好みモデルをトレーニングして、RLHFを行うことができる。だから、ユーザーのプライバシーも守られる。このプロセスを「人間-AI体験のフライホイール」と呼んでいるよ。もちろん、ユーザーベースが大きければ大きいほど、モデルが収集する経験も増える。今のところ、OpenAIには5億人のユーザーがいて、彼らはおそらく1日あたり0.5Tのインタラクティブトークンを生成している。そのトークンは人間の脳とLLMのログの両方に入っていく。もう環境工学の話ではなくて、結果を収穫することが重要なんだ。意味のある検証は、実際に人間がリアルな目的で使っているシステムから生まれる。

最近、タマイに会う機会があったけど、すごく鋭い人だった。私の知っている多くの人がメタRLや探索ベースのRLに取り組んでいて、目標は多様なタスクにわたる本当に良い世界モデルを持つ基盤モデルを構築し、限られたロールアウトやスパースな報酬信号から良いポリシー（または良いポリシーの更新）を予測することなんだ。まだそこには至っていないけど、オルトマンが最近言ったように、「継続的に学ぶものがない限り、AGIはない」と言っていて、この分野ではそれを実現するための大きな競争がある。

これを見て考えたことがいくつかある：1) AIモデルのトレーニングに結びついた暗号通貨があれば、トークンの生成自体以外の現実の問題を解決する数学よりも、暗号のグラインディングが有用になるのに。2) AIモデルが大きくなるにつれて、もっとハルシネーションが増えてくる。だから、特定の側面に特化した高調整モデルに焦点を当てて、どのモデルに何を依頼するかを知っている高次の指揮モデルを持って、そこから他のモデルにさらなるリクエストを送って結果を得るというアプローチがいいかもしれない。確かに、高調整されたニッチモデルの必要性がある。例えば、言語認識のモデルが言語、方言、アクセントを特定できるとしたら、それに合わせて調整された言語モデルを使うことになる。そういうアプローチの方が、すべてを一つの大きなモデルでやるよりも良さそうだね。

最近、RLのスケーリングについて似たようなアイデアを書いた投稿があるよ: > 10^26 FLOPsにRLをスケールする方法 (blog.jxmo.io/p/how-to-scale-rl-to-1026-flops) 両方のエッセイの基本的な前提は、AIが能力の大きな飛躍をするためには、新しいデータを見つけてトレーニングする必要があるってこと。私の提案は、インターネットのテキストを再利用して、次のトークン予測でRLを行うことだった。でも、ここでリンクされている投稿は「レプリケーショントレーニング」を提案していて、それは「既存のソフトウェア製品やその中の特定の機能を複製するようAIにタスクを与えること」と定義されているんだ。

RLって何？リアルライフ？それとも強化学習？

近い将来、こういうのを見ることになると思う。でも、二つの大胆な主張があるんだ。一つは、RLが他の領域での一般化につながることへの希望で、現時点の証拠から見るとちょっと無理がある気がする。もう一つは、ソフトウェアや仕様が良い「RLジム」のデータであること。RLの基本的なアイデアは、モデルが最適な道を探ることだけど、もし書かれたソフトウェアがエージェントのインタラクションパラダイムにおいて最適でないなら（人間向けに書かれているから）、計算能力があってもモデルが最適でない可能性が高いんだ。現在のAIシステムが全体のワークフローを抽象化しているという並行したトレンドもある。それを考慮しないと、現在の要求に気づかない結果につながるかもしれないね。