概要
- IFMが K2 Horizon という6モデルの接続型フリートを公開
- 各モデルは 推論・数学・コーディング・エージェントタスク で最先端性能を発揮
- 開発全工程 （事前学習～エージェント型後学習）を完全公開
- Apache 2.0ライセンス 等でモデル・コード・データ等をリリース
- 小型からエンタープライズまで、 幅広い用途に対応
K2 Horizon 全体概要
- K2 Horizonは 375B-A23B, 36B-A4B, 32B, 7B, 3.7B, 0.9B の6モデルで構成
- 推論・数学・コーディング・エージェントタスク・汎用能力 で各サイズ帯の最高性能を実現
- 特に 0.9B, 3.7B, 7B はそのクラスで新たなSOTA（State of the Art）を達成
- すべてのモデルで 事前学習～推論・エージェント型後学習 までの全工程を公開
- 中間チェックポイント・トレーニングデータまたはレシピ・オープンなアーキテクチャ・評価結果・最終重み なども提供
- Apache 2.0ライセンス でモデル・コードを公開、データセットはODC-BY等の該当ライセンス
- 再配布困難なデータは 構成方法や混合比を公開 し透明性を確保
各モデルの特徴と用途
- 0.9Bモデル ：ウォッチやグラス等の超制約環境向け
- 3.7B/7Bモデル ：スマートフォンやオンデバイス用途で高度な能力
- 32B（Dense）/36B-A4B（Sparse） ：ローカルワークステーションや効率的サービング用
- 36B-A4Bは Mixture-of-Value-Attention (MoVA) を搭載し、少ないアクティブパラメータで高性能
- 375B-A23Bモデル ：エンタープライズ向け最強モデル、複雑な推論や長期的エージェントタスクに適応
- 全モデルが 量子化サポート を持ち、エッジからエンタープライズまで幅広く対応
オープン性・研究価値
- 開発全工程の完全公開 により、推論や計画・ツール利用などの能力発現過程を追跡可能
- チェックポイント・データ・コード・構成・トレーニングログを段階ごとに提供
- 研究者は 能力発現の研究、開発者は 再現・応用・拡張 が容易
- 2023年の LLM360論文 で提唱した「完全オープン原則」をさらに拡大
モデル詳細
- 375B-A23B ：3750億パラメータ（うち約230億がアクティブ）、MoEアーキテクチャ、最も高性能
- 32B Dense/36B-A4B Sparse ：40B以下クラスでトップ性能、MoVAによる効率化
- 7B/3.7B/0.9B ：小型ながら推論・数学・コーディング・ツール利用・エージェント能力を保持
- 0.9BはAIME 2026で48点超、3.7B/7BはSWE-benchやBrowseCompで高得点
コアアーキテクチャと訓練手法
- 6モデルは 共通のアーキテクチャ・語彙・訓練方法・評価・デプロイツール を共有
- 全モデルで約 20兆トークン を使い、厳選・文書化されたデータ混合で事前学習
- 中間チェックポイントと細粒度ログ を全訓練過程で取得
- MoVA はAttention層にもスパース専門家を適用し、効率と容量を両立
訓練データとその工夫
- 多様なWeb・コード・数学・科学・多言語・ドメイン特化データ と自社生成の合成データを混合
- 合成データの約17%は 推論過程付き問題解決トラジェクトリ で構成
- 100万通り以上の多様性パラメータとコンテキスト種子 を使い、独自の検索エンジンも活用
- コーパス多様性を測るため、 カスタムgzip圧縮指標 を開発
- 合成データの多様性は高品質Webテキストに匹敵
- データ構成・合成パイプライン・混合比 を文書化し、許諾範囲でデータも公開
- 後学習データ は中期訓練段階から投入し、100万件超のユニークタスクを合成
- サンプリング手法 でLLMの解答精度と望ましい挙動を誘導
まとめ：K2 Horizonの意義
- 透明性と高性能 を両立した初のオープンモデルフリート
- 研究・開発・応用 の全てで新たなフロンティアを提供
- エッジからエンタープライズまで、 用途に応じた最適モデル選択 が可能
- 推論・ツール利用・計画・エージェント能力 の発現過程を追跡・再現・拡張できる基盤
- 今後のAI研究・産業応用における 新たな標準モデルファミリー