そのモデルと「チャット」して、どんな感じか見てみたいな。

同じクラスのモデルをトレーニングするコストやスケーリングはどんどん下がってる気がするけど、スコアがかなり良いモデルのトレーニングは壁にぶつかってる感じ。例えば、gemini-3-proは今日のlmarenaテキストチャートで1488点でトップ、gpt-4o-2024-05-13は1346点。これは1.5年で70%の勝率（50%が勝つ確率）だね。一方、去年の夏にOpenAIが配布したオープンウェイトのものもその間にスコアが入ってる。新しいベンチマークやベンチマークバージョンは例外みたいで、最初は低いけどすぐに飽和するか、しばらくすると同じ壁にぶつかるみたい。

Llama 4みたいに「1人のアクティブエキスパート」なんてバカなことはしなかったけど、256のうち4ってかなりスカスカだよね。ベンチマークでトレーニングしない限り、DeepseekやGLMレベルのパフォーマンスにはならないと思う。これは良い判断じゃなかったね。他のモデルはこんなことしてないし。

彼らが意図的に水を濁してるってはっきり言うよ。成功したトレーニングを実行するには、失敗した実験も含めてすべてをカウントしなきゃいけない。彼らはその定義で100百万以上を使ってこのモデルをトレーニングしたし、成功するまでの失敗した実験を含めない定義は、せいぜい不誠実で、最悪の場合は投資家を騙すための嘘だよ。いいや、DeepseekはDeepseek V3に5.5百万しか使ってないわけじゃない。Geminiは「完全にTPUでトレーニングされた」わけじゃない。最終的なトレーニングランをTPUでやるために、GPUで何百もの実験をしたんだ。GCPには何百万ものGPUがあって、Geminiチームはそれにアクセスして毎日使ってるに決まってる。Deepseek V3を作るための総コストも、最終的なトレーニングランに至るまでに必要なものをすべてカウントすると100-400百万の範囲だよ。編集:（このサイトの「投稿が早すぎる」ってやつが本当にバカだから投稿できない）君みたいな人から信頼できる情報を得る唯一の方法は、ネットで何か間違ったことを大声で言うことだね。これからはもっと積極的にそうして、君みたいな人に真実を正してもらうように促すよ。たとえTPUだけを使ったとしても、彼らが主張するよりも何倍も多く使ったのは確かだよ。「失敗したランもカウントするからね」

無料のGoogleやChatGPT、他のモデルがあるのに、なんでそんなことするの？最終的な目標に向けてお金の無駄だし、地球を破壊するだけだよ。

2048のNvidia B300 GPUで、平均価格が1時間あたり6ドルだとすると、クラスター全体で1時間あたり12,288ドルになるね。33日間、24時間計算すると、割引なしで970万ドルになる。そうすると、6ヶ月間の給料に1030万ドル残ることになる。これは、年収20万ドルの従業員103人か、年収40万ドルの従業員51人分だね。

いつもオープンウェイトだよね。

MoEでも、個々のエキスパートをVRAMで評価しながらモデルをRAMに保持するのはちょっと妥協が必要だね。エキスパートはトークンごとにVRAMに入れ替えられるから、RAMとVRAMの帯域幅が重要になる。RAMより大きいモデルだと、その帯域幅のボトルネックがSSDインターフェースに押し込まれる。少なくとも読み取り専用で、書き込みはないけど、どんなに速いSSDでもRAMにはかなわないからね。それでも、実際にやってる人たちもいるみたい。https://github.com/lyogavin/airllmがその一例だよ。

mmap()で動かせるけど、ちょっと遅いんだよね。4ビット量子化だと、モデルサイズとRAMのバランスがまあまあ良いから、速いSSDがあればどんな感じか試してみてもいいかも。ただ、4ビット量子化のモデルは、200Bパラメータの8ビット量子化モデルよりも良くないんじゃないかって疑念がよくある。モデルや使用ケースによるけどね…。残念ながら、SOTAモデルのローカル推論はRAMの価格や企業のGPU需要に阻まれて、選択肢が少なくなってる。今のところ、Mac Studioシステムを買って、分散推論を実行するのが一番の選択肢かも（MLXがこれをサポートしてるし）。それか、13,000ドルくらいの512GB Mac Studio M4を買うとか。

128GBのVRAMがあれば、256Bサイズのモデルには十分なスペースが確保できるよ。でも400BはDGX Sparkには大きすぎるね。2台をつなげてテンソルパラレルを使わないと無理だね。

比較できるベースモデルはあまりないね。

彼らが256のうち4のスパース性をやってるのは、財政的な制約から来た悪い決断だよ。トレーニングコスト（FLOPs）= 6 * アクティブパラメータ * トータルトークン。MoEエキスパートのパラメータ数を低く抑えることで、トレーニングコストを削減してるんだ。これは良い判断じゃなかったと思う。彼らは他の主要なラボのようにチンチラを超えてトレーニングすべきだったし、スパース性を2%以上に保つべきだった。Kimi K2も2%以上だし、GLMは5%で、サイズに対してはかなり高価（かつ高性能）だよ。Arceeは逆の道を行ったね。彼らは400Bの巨大なモデルをトレーニングしたけど（GLM-4.5/4.6/4.7よりも大きいし、Qwen3 235B A23Bよりも大きい）、アクティブパラメータは17Bしかなくて、QwenやGLMよりも小さいんだ。しかも、トレーニングしたトークンも17Tで、他のモデルは20-30T以上なのに。アンダートレーニングでアンダーサイズ（アクティブパラメータの観点で）で、パフォーマンスも他のモデルよりずっと悪い。制約があったことを考えれば悪くはないけど、競争力を持つためにはアクティブエキスパートを倍にする必要があるね（256のうち4じゃなくて8に）。それだと計算コストが大体倍になるけど。今の彼らのマーケティング戦略は、アクティブパラメータを少なくして推論を安くすること、全体のパラメータを増やしてアクティブパラメータの量に対して賢くすること、でもH200クラスターに収まるサイズにすることなんだ。これが有効なニッチ戦略だと思うのかな？ターゲットオーディエンスは基本的に「GLM/Qwen/Deepseekの全ての知能は必要ないけど、すでに持ってるH200クラスターでより多くの顧客にサービスを提供したい人たち」だね。確かに有効なニッチだけど、かなり小さいね。

損失を直接比較するのは無理だよ。各フェーズでデータ分布が変わってるから（たぶん）。10兆トークンを超えたあたりからデータ分布が変わるのは100%確実だけど、他のフェーズの変更もデータ分布の変更が含まれてるかはわからない。

RSDBの開発中に、かなりのパフォーマンス向上が見られたので、トリニティ大規模トレーニングのフェーズ3で統合することに決めたんだ。フェーズ2とフェーズ3のデータ分布が違うから直接比較は難しいけど、全体的な効果は顕著だったよ：BatchHetが4.23倍減少して、ステップごとの分散が2.4倍減少した（図1参照）。デフォルトのパッキング戦略と比べて、かなりの改善だね。RSDBなしのトレーニングでは、損失分布の高次モーメントがずっと高い値を示すことがわかっていて、これはトレーニング中のネットワークの不安定性と関連してると思う。 技術報告書の9ページにもっと詳しいことが載ってるけど、データ準備の方法や他の最適化を見つけたみたいで、全体的にうまくいったみたい。特定の何かが良かったわけじゃないと思う。Llama 4については、同じくらいのサイズのモデルとして言及されてただけで、品質比較の意図はなかったと思う。Llama 4はスパース性が注目されたけど、パフォーマンスや評価はイマイチだった。技術的に達成したことはしっかりしてて、役立つ研究だったよ。

微調整やホスティングのコンサルティング、他のサービスを売ってるんじゃないかな？彼らは自分たちのモデルで推論サービスも提供してるみたいで、明らかにオープンウェイトモデルとして商品化されるけど、元のラボから買いたい人もいると思う。でも、オープンウェイトモデルを提供してると、顧客は自己ホスティングや微調整をしたい人たちになるから、そのためのサービスを提供してるかもしれないね。