MI355Xでの「Kimi K3」の実行は、B300よりもコストパフォーマンスが優れています

2026年8月2日原文(wafer.ai)

概要

オープンソースAIモデル の進化と巨大化
Kimi K3 の登場と、その高性能・高コスト効率性
AMD MI355X によるコストパフォーマンスの優位性
ソフトウェア最適化 による性能向上事例
今後の AMDとCUDAの競争 の見通し

オープンソースAIモデルの進化とKimi K3の登場

近年、 DeepSeek V4-Pro や GLM5.2 など、オープンソースAIモデルの知能レベルがOpusに迫る進化
Kimi K3 はFable/Sol並みの知能を持ち、オープンソースの新時代を象徴
モデルの高性能化とともに、 パラメータ数とVRAM要件 も急増
- GLM5.2：753Bパラメータ
- DeepSeek V4-Pro：1.6Tパラメータ
- Kimi K3：2.8Tパラメータ（1.5TB超のVRAM必要）

ハードウェア選択とAMD MI355Xの優位性

B200（8GPU）ノード ではKimi K3を収容不可
B300（288GB VRAM/GPU） またはB200ノード2台（TP16）で対応
AMD MI355X も288GB VRAMを搭載し、コストはB300の約2.4倍安価、B200の約1.7倍安価
- ハードウェアスペックはBlackwellに匹敵
課題は ソフトウェアサポート だが、Kimi K3はAMD向けにDay-0対応

ベンチマーク結果とパフォーマンス比較

1,024トークン入力／400トークン出力ベンチマークでの性能
- MI355X ：952 tok/s/node、118 tok/s（シングルストリーム）
- B200 TP16 ：498 tok/s/node（2ノード合計）、90 tok/s
- B300 ：1,568 tok/s/node、172 tok/s
パフォーマンス/コスト （$2.50/MI355X, $6.00/B300, $4.25/B200）
- MI355X：48 tok/s/$
- B300：33 tok/s/$
- B200：7 tok/s/$
MI355X はB300に比べてコスト効率で圧倒的優位

ソフトウェア最適化の実際例

Kimi K3は speculative decode による高速化が鍵
- CUDAでは問題なく動作、ROCmではNameError（top_k_renorm_prob未定義）発生
- 修正はPyTorch関数の追加のみで対応可能
最適化後、 シングルストリームで2.2倍、ピーク時で1.7倍の性能向上
prefill（初期入力） 最適化も重要
- MI355Xはcold prefillでB300の2倍以上時間を要したが、カーネル側のshape調整で2～3倍高速化

今後の展望とまとめ

MI355Xで 最高のパフォーマンス/コスト比 をほぼそのまま実現
案件特有のバグはあったが、GLM5.2よりは少なく、カスタムカーネル不要
AMDでのSOTA達成が目前
CUDAの優位性が薄れつつある 状況

WaferとTrueFoundry AI Gatewayの統合によるサーバレス推論環境
GLM5.2をAMD MI355Xで2倍以上安価に高速提供した事例

Hackerたちの意見

AIのゴミ

└

まあ、少なくとも読みやすくするためにちょっとは努力してると思うけどね。明らかにゴミだけど、他のゴミ記事ほどひどくはないかな。

この部分は、AIが設定を手伝ってベンチマークを取ってる感じだね。 >「修正は超簡単だった：ヘッドカウントを12→16にゼロパッドして、ファストカーネルを実行し、出力から実際の12ヘッドを抽出する。」最近、フロンティアAI（ChatGPT 5.6 Sol on ultra）を使って、もっと小さいローカルモデルを設定したんだけど、そのパフォーマンス最適化がモデルを完全に無秩序にしちゃったんだ。（モデルが一つのキャラクターを繰り返すだけとか。）こういう引用を見てると、設定がまだKimi K3のストックインストールみたいにまともなのか気になるよね。ちゃんとベンチマーク取ったのかな？

└

solは使ったことないけど、Claudeを使ってタスクごとにローカルモデルをセットアップしてベンチマークするのはよくやってるよ。すごく丁寧で、いつも良いセットアップを返してくれる。ただ、モデルカードを指し示すのを忘れないようにね。トレーニングのカットオフ後にモデルが存在するのはいつも信じられない。K3はセットアップはまあまあだけど、構成検索はそんなに徹底してないし、ちょっとつまみを回しただけで「最高のセットアップを見つけた」って自信満々に言うんだよね。自分の出力を評価するのもあまり得意じゃない。自分の仕事を過大評価しがちで、ベンチマークの時はちょっと防御的になるし。でも、ちゃんと何かを見つけてくれるから良いチェックにはなるよ。ただ、新しいセッションを開いて、結果がどこから来たかは教えない方がいい。K3が他のモデルよりも得意なのはフォルダ構造を調査すること。ベンチマークするためには、テスト方法論や他の結果に関する参照をプロジェクトフォルダから移動しないといけない。Kimiはまるでlsの血houndみたいにそれを見つけちゃうから。

└

こんにちは、私はウェハーで働いています。はい、ベンチマークを実施しました。例えば、私たちのKimi K3はオープンルーターで稼働中で、そこでホストするには精度チェックを行う必要があります。tau/gpqaみたいな感じです。それから、思考力、一貫性、ツールの呼び出しに関するテストに合格しなきゃいけません。

いい仕事をしてるなら、その仕事の詳細を見直す時間くらいは取るべきだよ。そうしないと、真剣に受け止めるのが難しい。特にプレフィルのセクションはね。

笑、wafer.aiのGPUによる手抜き記事だな。8× MI355X (TP8) B300 (TP8+DCP8) ストリームごとのデコードトークン/s 118 tok/s 172 tok/s ピーク合計 952 tok/s 1,568 tok/s GPUごとのピーク合計 119 tok/s 196 tok/s 各行でB300がMI355Xを上回ってる。B200は、一つのノードのメモリに収まらないものと無理やり比較されてるし、マルチノードの接続性についての詳細もあまりない。さすがに手抜きだね。唯一勝ってるのは、レンタルのための集約サイトでの時間あたりのコストだけ。B300が$3/時のAMDチップに対してプレミアムを要求してるけど、どのプロバイダーもそれを豊富に持ってるわけじゃないし。ハードウェアを所有する際のTCOも全然考慮してないし。

└

このセクション見た？B200の擁護をするなら、デコードのクリティカルパスでクロスノードのオールリデュースを支払ってるせいで数値が少し膨らんでるんだよね（RoCE v2で約195 Gb/s）。ここで唯一、2つのノードにまたがる構成なんだ。

Waferは推論の分野でゴミと同義になってるね。すべての結果で誇張された不公平な比較、アラーム絵文字付きのツイッターハイプ投稿とか。 >「MI355Xは$2.50/GPU-時、B300は$6.00、B200は$4.25。」これは実際の価格比較としては正確じゃないよ。

└

gpus.ioのウェブサイトに行ったら、今は$2.95/時間だった。これはMSRPと実際の市場価格を比較してるようなもんだね。B300sは需要があって高くなってるけど、wafer.aiの怠け者の編集者たちは、実際の所有コストを計算することも、彼らのセットアップを再現するためのコードを共有することもできないみたい。代わりに、現在の市場価格に頼って一行を勝ち取ろうとしてるけど、それは実際のMSRPのパー/$についても関係ないことだよ。

└

これは、トークンサブスクリプション（WaferPass）を開始した会社なんだけど、数週間後には持続不可能だからと計画を引き上げて、同時に信じるに値する驚異的な推論効率の向上を達成したと主張してるんだ。

彼らが「オープンソースモデル」と呼ばないでほしいな。オープンソースじゃないし、トレーニングデータも公開してない。モデルをトレーニングするために使ったツールも公開してない。公開したのは重みだけ。これは「オープンウェイトモデル」で、ほとんどの人が適切だと認めてる用語だよ。なんでこの会社はそれを使わないんだろう？

Hacker Newsで議論の続きを見る

ハクソク