オープンモデルもトレーニングには比較的天文学的なコストがかかると思うけど、フロンティアモデルよりは少しマシかも。サイズが小さいからか、クリエイターたちが少ない計算リソースでより多くを引き出そうとするインセンティブがあるからか、フロンティアモデルの蒸留に依存してるから効率的だし。ただ、効率を除けば、オープンモデルの創造にはやっぱり大きな組織からの多額の資金と計算リソースが必要で、その支出に対してリターンがゼロでも受け入れられるところが必要なんだよね。この寛大さが永遠に続くとは思えないから、どちらが先に崩壊するかが問題だね。フロンティアモデルのビジネスモデルか、フォロワーたちの寛大さか。

トークンコストやROIについてはちょっと懐疑的だけど、埋没コストは埋没コストだからね。自己改善するスーパーインテリジェンスか、そうでなければダメって感じがする。もしそれを手に入れれば、フロンティアモデルがどんどん加速していくと思う。モーアの法則みたいな感じで、シリコンの半導体と同じで、GaAsは追いつけなかった。もし手に入れられなかったら、早いフォロワーたちが高い投資を圧倒して、守りがない状態になる。著作権を強制できるわけじゃないしね！

完全に同意。Fable ultraでやってることをオープンモデルで安定してできるようになったら、永遠に切り替えると思う。運良く、192GBのDDR5 RAMを持ってて、まあまあの速度で使えるんだ。だけど、それでも足りないし、コストはもう馬鹿げてる。数年後には、1万ドル未満でそんなタスクをこなせるセットアップができると想像してる。これまでのペースはすごく早かった。私が必要なのはそれだけ。状況は変わるかもしれないけど、真のAGIが出るまでは、フロンティアのものに対しては、ほんの少しだけ良くても支払う上限があると思う。

本当の強みはモデルそのものじゃなくて、特定のタスクや目標を達成するためのツール周りなんだよね。これがフロンティアとオープンの違いを生んでる。オープンはモデルだけしか持ってないけど、クローズドはモデルを強化するためのツールを持ってる。

Appleはそれを小型化してデバイスに載せられる できる人もいるけど、Appleは実質的に敗北を認めて、Googleに舵を渡したって感じだね。

消費者がローカルで十分なVRAMを持てるならいいけど、そうじゃなければ全然無理だね。Nvidiaは、次のRTXカードの話が全然聞こえてこないから、消費者市場を捨てて企業向けGPUにシフトしてるみたい。60xxシリーズは2028年まで延期だし。Nvidiaは危険な賭けをしてると思う。最終的には、フロンティアラボがNvidiaのチップだけをトレーニング用に買って、カスタムASICを作るようになるんじゃないかな。それならコストも抑えられるし、寿命も長いし、ホスティングも安く済む。これが彼らのGPUの5年間の利益を食いつぶすことになると思う。

推測だけど、AnthropicとOpenAIはもっとヘッジファンドみたいになって、自分たちのモデルを内密にして、市場やイベントの予測、内部技術の開発、AIの自己改善に使うようになるんじゃないかな。Googleがそうしてるんじゃないかって思うこともある。競争を助けるために、自分たちのベストモデルを公開する理由は何だろう？彼らの公開モデルは99%の消費者には十分だし、他の分野での市場支配を活かして、その消費者モデルを目に触れさせることができる。だから、内部モデルを改善するかどうかは、内部での価値があるかどうかに依存することになるよね。うん、AIは大企業の中で内向的になると思う。これが国家安全保障の懸念や意識の高まりによって加速されるだろうね。

私の予測では、ハードウェアのコストがオープンソースモデルを実用的でなくすると思う。確かに、いじり好きや熱心な人たちは使い続けるだろうけど、フロンティア企業がほぼ完全に支配し続けると思う。なぜなら、彼らだけがハードウェアにアクセスできるから。

近くでズームインしたり、角度を変えて見ると大きな違いがあるよね。ユニークさを作り出すことはできるけど、日常的に使う人々にとっては、差別化がないのが問題なんだ。

オープンモデルがAnthropicやOpenAIを殺すって言うけど、俺は疑ってる。モデルをトレーニングするにはお金がかかるからね。Kimi3の価格上昇でそれが見えてる。中国のAI企業はサードパーティのプロバイダーにかなりの金を残してると思う？彼らがそのお金を手放すとは思えない。遅かれ早かれ、彼らはそのお金を回収したがるはずだよ。結局、中国のオープンウェイトモデルは非営利団体からリリースされたものじゃないし、すべて営利企業がオープンウェイトモデルを出してるんだから。