これは、情報を持たないステークホルダーが盲目的にLLMを押し付けようとする時に、私がいつも言っていることです：データが問題なんだよ。現在のデータは、完全にそれに依存している業界の外ではゴミで、エラーだらけで、LLMには不透明な構造をしています。AI戦略が成功する可能性を持つためには、データはクリーンで新鮮でなければなりません。そうでなければ、お金を燃やしているようなものです。問題にもっと計算やデータを投げても、AGIが魔法のように現れることはありません。その高みを目指すためには、まず私たちを妨げている大きな傷を解決しなければなりません。

これは、検証可能な報酬が特定のドメインでうまく機能する理由の一つです。信号を抽出してそれをRLループのために検証する方法を見つけることは、多くのニッチな分野で非常に人気が出るでしょう。

人間が作ったデータを研究する時は、宗教などの教義からのバイアスや、古い情報が新しい情報に取って代わられること、嘘や誤情報、フィクションなどの要素に常に気をつける必要があるよ。全部を無批判に受け入れるわけにはいかないからね。

それとも、(3) 現実世界と相互作用するモデルはどうですか？もちろん、あなたの(1)と(2)にも同意します。

これは事前トレーニングのステップに当てはまります。後で行われる強化学習のステップで、もっと計算やモデルのパラメータが役立つかもしれないという進展はどうでしょう？今のところ、RLのステップはサンプリングにしか役立っていない、つまり、与えられた可能な返信の出力を最適化するだけで、他のものには役立っていない（一般的なサンプリング方法で多くの返信を生成し、その返信の正しさを検証できれば、RLが助けるのはすでにモデルの出力に潜在的に含まれているものを選ぶことだという論文もあります）となると、これは無駄です。でも、もしかしたらRLの進展がLLMに与える影響は、AlphaZeroのモデルがチェスや囲碁に与えた影響のようになるかもしれません。

与えられた計算予算Cに対して、データDを増やさずに計算を追加することはできません。 > 私たちは、(1) 異なるスケーリング法則を持つ新しいアーキテクチャを発見するか、(2) 学習に貢献できる新しい合成データを計算する必要があります（夢のようなものです）。もちろん、できますよ。これは問題ではありません。例えば、今や8年前のAlphaZero [0] や、合成データを使った現代のRLトレーニング、例えばDeepSeek-R1-Zero [1] を見てください。 [0] https://en.m.wikipedia.org/wiki/AlphaZero [1] https://arxiv.org/abs/2501.12948

これ、すごくシンプルに見えるけど、全然理解できてない… C = D^2 で、計算を2倍にしたら、2C ==> 2D^2 になる。どうやって元の著者は2D^2から1.41Dを得たの？

ルネサンスから近代初期（1400-1800年）のほとんどの資料が手に入らないことを忘れないで。ネオラテン語で出版されてて、古いフォントが使われてるから、デジタル化されてるのはたったの10%くらいだし。アラビア語のコーパスもほとんどないだろうし、サンスクリット語なんてほとんどないよね。古典中国語も不足してると思う。英語に翻訳されてるのは1%くらいだし。

これは質を上げるための遠回しな方法だと解釈したよ。あるサブレディットを考えてみて。投稿やコメント、スコアがあるけど、全体的にデータの質が良くない場合はどうする？そのまま使うんじゃなくて、AIに全ての投稿を評価させて、役立つかどうかや実際にどう機能するかを基に自動で分類させたらどうなる？要するに、AIを使って既存の情報についての情報を整理して提供するってこと。これを取り込むことでデータの質が上がるのかな？たぶん、計算リソースとAIの推論を事前に使うことで、低品質のデータを減らし、高品質のデータを追加するから、質が上がるんじゃないかな。

多くの新聞がパイウォールの後ろに閉じ込められてるみたいで、公共のものなのにね。

現在の方法では、人類の知識全体を使っても、最先端のモデルの知能以上のものは得られないってことがポイントなんだ。以前は、その量のデータを処理するために必要な計算リソースが限界だったけど、今はそうじゃない。だから、さらに進むためには、方法を改善するか、合成的にもっとトレーニングデータを生成するか、またはその両方が必要なんだ。

LLMへの投資爆発の目標/理論は、すべてのデータを与えることでAGIに到達できるということなんだ。AGIって言っても、「超人の特異点」じゃなくて、「ほとんどの人間を置き換えられるくらいの知能」を指してる（そして、今私たちが彼らの給料に使っているお金を全部吸い上げることになる）。でも、もしすでにすべてのデータを与えていて、AGIがない（明らかにないよね）なら、LLMでAGIに到達する方法はないし、テクノロジーやVC業界はこの投資を正当化するのに大きな問題を抱えることになる。

人間の知識の全体は、AGIに必要なものに対して丸め誤差みたいなもんだ。

ターゲットの世界について検証可能な報酬を生み出す方法が見つかれば、面白い対称性があると思うんだ。LLMの前と後で、組織は測定できるもの（例えば、バランスシート）には過剰最適化し、測定できないもの（例えば、開発者の生産性）には過少最適化する傾向があるから、普通の組織ではソフトウェア製品を最新の状態に保つのが難しいんだ。自然なプレッシャーで、競合が突然現れるまでそれを使い続けるからね。だから、LLMの後の世界では、データが不足しているか、君が言うように、検証可能な報酬を生み出す能力がないことに関して大きな穴がある。似たようなパターンが結果として現れるかもしれないし、良い測定や検証可能な報酬がないために、完全に無視される現実の事象がどれだけあるのか、ちょっと気になるな。

10年以上前、ブルーカラーの仕事に影響を与えるAIが、ホワイトカラーの仕事に影響を与えるAIよりも先に出てくると思ってたんだよね。どこでその印象を持ったのかは分からないけど、「AIの高まり」みたいな比喩やグラフを見た記憶がある。そこにはアーティストや科学者が高い場所に位置してた。最近は、そうなってない気がする。今の最高のLLMは本当にすごいと思う（欠点はあるけどね）。でも、すごいロボットはどこにいるの？食器洗い機をセットしてくれるロボットが買えないのはどうして？去年からこれがすごく気になって、友達と掘り下げてみたら、何か答えのヒントになりそうなことに気づいたんだ。人間レベルの「具現化」に進化するのに約1億〜10億年かかったけど、言語や知識の伝達、抽象的な推論に進化するのには約10万〜100万年しかかからなかった。だから、情報処理の観点から見ると、具現化（高度なロボティクス）はLLMより1000倍難しいのかなって思っちゃう。

CLIPについてどういう意味？

これはスケーリングが「死んでいる」かどうかの話ではないと思う。サラ・フッカーの良いポジションペーパーがあって、その中でいくつかのことが触れられている。要点は、大きなデータを使った大きなモデルがフロンティアを押し進めている一方で、はるかに少ないパラメータ（それでもかなり大きい）とデータを使ったモデルの静かな革命があるということ。もしかしたら「スケールが全て」かもしれないけど、それが実用的であるとか、良いアプローチだというわけではない。特に今日の推論コストの懸念を考えると、こうした研究の道が多くの反発を受けているのは残念だ（その反発はまだ減っていないように見える）。 > 検証可能な報酬 それに、コミュニティではワールドモデルについての議論もある。「モデルが物理を再現しないなら、実際にワールドモデルと言えるのか？」というものだ。物理を再現すべき理由は、反事実モデルが学習されている必要があるからだ（計算的に還元不可能かどうかは保証されない）。反事実モデルは、頑健な一般化のための大きな機会を提供する。実際、物理の研究は圧縮の研究だとも言える。ある意味で、物理は私たちの宇宙の計算可能性の研究だ。 > 物理は反事実的で、「もし質量が10倍大きかったら、力はどうなっていたか？」という反事実的な質問に答えることができる。もしこれが反事実的でなければ、異なるケースごとに異なるアルゴリズムが必要になるだろう。私は回復派だ。正直、これに対する強い反論は聞いたことがない。「物事がうまくいけばそれでいい」という意見がほとんどで、正直言って、それが私たち全員の主な関心事じゃないの？ 壁に何かを投げて、何がくっつくかを見るのは賛成だ。時には本当に効率的な方法になることもある（特に初期の探索段階では）。でも、それが最も効率的な進め方だとは思えない。私の経験から言うと、同等のパフォーマンスを得るために、はるかに少ないリソースでモデルを作ってきた人間として、量より質の重要性を強調したい。難しいのは、その質を定義することだ。

現在のLMフロンティアで言語モデルをどうスケールし続けるか — 4-8時間のMETRタスク これって、一般的なモデルを作ってそれをSaaSスタイルで貸し出すという特定のビジネスモデルを再現しているんじゃないかな（大きめの顧客向けに適応されるかもしれない）。初期のメインフレームに対する興奮を思い出させる。アクセスの希少性によってアプリケーションが制限されていて、その分野で訓練された人たちがその優位性を必死に守っていた。小さな競合があらゆるニッチに入ってくるのに対抗できなかった。顧客データとユースケースが最も関連性が高く、最も利益を生むかもしれない。小さなユーザーモデルを採用し、ユーザーのユースケースを追跡・適用できるAIは、まったく異なる構造を持ち、明確な価格/パフォーマンス比を持つだろう。もしAppleやGoogleが実際にAIをデバイスに統合したら、決定的なアドバンテージを持つかもしれない。あるいは、ユースケースやインタラクションをモデル化する次世代のウェブアプリケーションがあるかもしれない。実際、Cursorや他のIDE企業は、生成的LLMに意図として与えるだけでなく、文脈をモデル化する方向に進むことができれば、優位性を持つかもしれない。

関連する論文: https://arxiv.org/abs/2306.11644 -- Phiモデル（他にもたくさんあるけど）はこのアイデアに基づいてる。

すごい。これには本当に共感する。自然がパレートの法則に従うのを何度も見てきたから、訓練データもこの法則に従うのは納得できる。さらに、訓練の順序が重要だというのは新しい発見で、振り返ってみるととても明白に思える。もしかしたら、これらのポイントは現在の主要なLLMビルダーの間では常識かもしれない。私はLLMを作るわけじゃなくて、それを使って何かを作るから、詳しくは分からないけど。

私のモデル訓練の経験から言うと、これはパラメータ数が制限要因であるときだけが当てはまる。モデルがあるサイズを超えると、カリキュラム学習を使ってもあまり改善にはつながらない。ほとんどの研究も小さなモデル（例：Phi）にしか適用していないと思う。