誰も気にしてないよ。完全にオープンな認証済みのGMOフリーの草飼育データを使ったモデルとか、アペルトゥスやオルモとか、いろいろあるけど、誰も興味ない。要するに、みんなが使うのは、ローカルで動かせて、改造して再リリースできるモデルのことを指してる。あとは無駄なセマンティクスだよ。誰もモデルを「再現」できないしね。

「利用可能なウェイト」を中立的な用語として推してたけど、諦めた。誰も気にしてないし、トレーニングについて真実を語る人なんていないよ。実質的で成長する自由が、ゼロの自由に勝るね。

これはただの賢いビジネス判断だよ。彼らのモデルが高価なプライベートモデルと競争して市場シェアを獲得できるようにしてるだけ。慈善活動なんてないよ。

そうだけど、オープンモデルの最大の利点は、決して奪われることがないってことだよ。つまり、どんな能力に達しても（もう他のモデルが出ないとしても）、それは永遠に残る。APIベースのモデルは、プロバイダーが気が向いたらいつでもモデルを廃止できるから、そうは言えないよね（例えば、gpt5-miniはすぐに消えるし、もっと高価な5.4-miniに置き換わる、グーグルも同様）。モデルをリリースするインセンティブを持つ企業は常にいるし、Nvdaなんかはこのモデルを使って直接利益を得てるから、ネモトロンラインを続ける動機があるよ。オープンな最先端からもそれほど離れてないしね。グーグルは小さいモデルをリリースし続けるだろうし、ブラウザ関連で使うから、漏れるのも分かってる。だから、小さいモデルをリリースして開発者市場シェアを得るのはウィンウィンだよ。中国の研究所もモデルをリリースし続けるインセンティブがあるし、政府の支援も受けるだろうね（国同士の商業戦争、万歳）。

モデルのトレーニング用にSETI@Homeみたいなのが必要だね。

これ、逆じゃない？Fableへのアクセスは取り消せるけど、オープンウェイトモデルを元に戻すのは無理じゃないかな。

そうは思わないな。これは慈善事業じゃなくて、彼らも何かを得てるんだよ。ラボ同士が共有モデルから学んでるし、経済的にも意味があると思う。推測だけど、サブスクリプションの限度をフル活用するのは、運営者にとってサブスクリプション収入以上のコストがかかるんじゃないかな。だからAnthropicが中国のデータ収集について騒いでるんだと思う。重みを公開することで、その負担から解放されるから、競争相手はサブスクリプションサービスを叩かなくても、モデルをダウンロードして分析して一日中動かせるんだよ。最大のモデルについては、自分で運用する意味がないし、主要なプレイヤーでない限りね。ハードウェアをレンタルするのは、サブスクリプションの何万ドルよりも馬鹿げたほど高いし、ハードウェアを買うのも数十万ドルかかるからね。

もっと大きな問題は、ますます増える資本要件だと思う。これが閉じたウェイトの企業にも影響を与えて、フロンティアから離れていくかもしれない。例えば、GoogleやMetaはギリギリで持ちこたえてる感じ。Googleにとってはフロンティアに留まるのがちょっと生死に関わる問題だけど、それでもギリギリだよね。競争相手がほとんど消えていくまで、キャピタル支出を指数関数的に増やし続ける以外の方法で、これらのモデルを改善し続ける方法を見つけられたらいいなと思う。

何らかの「コミュニティ所有のハードウェア」ができるまで ハードウェアはすでに手頃な価格でレンタルできる状態だよ。コミュニティの資金が必要だね。人々がローカルのGPUリグに使ってるお金の一部をトレーニングやテストなどにプールしてくれたらいいのに。大きな問題は、オープンソースと同じで、あまりにも分散しすぎてること。競争力のあるグラウンドアップのコミュニティLLMを作るには、何千万ドルも必要だよ。でも、誰が選ぶの？私の意見では、唯一のチャンスは、より専門的で小規模なLLMだと思う。それでもトレーニングには何百万ドルもかかるし、LLMは数ヶ月しか競争力がないことを忘れないで。

分散型のトレーニング機能があればいいのに… Folding@homeみたいな感じで、LLM用のやつ。