概要

• Kimi K3 は、Kimi Linearの大規模・生産向けバージョン
• LatentMoE を新たに導入、効率性を重視した設計
• Attention residuals による残差経路の改良
• NoPE （位置埋め込みなし）を全層で採用
• マルチモーダル対応 や最新技術も搭載

Kimi K3アーキテクチャ概要と主な特徴

• Kimi K3 は、昨年公開された Kimi Linear を拡張した大規模モデル
  • パラメータ数は 48Bから2.8T へ大幅増強
  • 現時点で最大規模の オープンウェイトモデル
• 新規導入の LatentMoE （Mixture of Experts）
  • Nemotron 3 Ultra と同様のLatentMoE構造
  • 大規模な線形層を圧縮（ダウンプロジェクション）する役割
  • multi-head latent attention に近い仕組み
• 効率化重視の設計
  • 既存コンポーネントを効率性重視のバージョンに置換
    • MoE→LatentMoE
    • 通常のattention→multi-head latent attention、Kimi Delta Attention
• Attention residuals による残差経路の最適化
  • DeepSeek V4 のmHC（manifold-constrained Hyper-Connections）と同様の発想
    • mHCは残差経路を広く
    • Attention residuals は層をまたいで残差を接続し、attentionスコアを重み付けに利用
  • 検証損失・下流性能の一貫した改善（わずかだが向上）
  • 学習コスト+4%、推論コスト+2% 程度の増加
• RoPE（Rotary Positional Embedding）を全廃し、NoPE（No Positional Embeddings）を全層で採用
  • Kimi Linearから継承
  • 他アーキテクチャでは、 局所attentionでRoPE、グローバル層でNoPE の傾向
  • 全層NoPEはフロンティア級モデルではKimi K3が初
• マルチモーダル対応 を標準搭載

技術的観点・今後の展望

• 推論効率 のさらなる向上を目指す設計トレンド
  • Nemotron 3、DeepSeek V4 などと同様の方向性
• アーキテクチャ・ギャラリー や短いチュートリアルも公開中
• 技術レポート には他にも興味深い学習ノウハウが記載
• Kimi K3 はリリース時点で非常に優れた成果を示す

他の注目すべきオープンウェイトモデル（今週分）

• Nanbeige 4.2
• Laguna S 2.1
• Motif-3-Beta
• Solar Open 2
• Antares 1B
• BTL-3

書籍『Build a Reasoning Model From Scratch』訂正情報

• Listing 6.5 （p.198）のランダムシードの訂正

Inkling: 新しい975B MoEモデルの特徴

• Thinking Machines Lab による Inkling モデル
• 975BパラメータのMoEアーキテクチャ
• ベンチマーク、スパースMoE設計、短畳み込み、RMSNorm、ポジションバイアス などの特徴