概要
- SWE-1.7は、これまでで最も高性能なモデルとして低コストでフロンティアレベルの知能を実現
- RLパイプライン全体の改良により、安定したトレーニングと高品質データを実現
- 長期的な非同期タスクに最適化され、エージェント型コーディングベンチマークで高いパス率を示す
- マルチクラスターによる分散トレーニングと高い耐障害性を確保
- エントロピー維持や自己圧縮など、先進的なトレーニング技術を導入
SWE-1.7の概要と特徴
- SWE-1.7 は、Cognitionが開発したこれまでで最も高性能なAIモデル
- コストパフォーマンス曲線 を大きく前進させ、低コストでフロンティアレベルの知能を実現
- Kimi K2.7 をベースに追加トレーニングを施し、「ポストトレーニングの限界」を打破
- 長期的・非同期タスク に特化した設計で、高品質なソフトウェアエンジニアリングに最適
- Devin (Web、Desktop、CLI)で利用可能、Cerebras経由で 1000 TPS を提供
エージェント型コーディングベンチマークでの性能
- FrontierCode 1.1 Main :42.3%(Kimi K2.7は30.1%、SWE-1.6は9.4%)
- Terminal-Bench 2.1 :81.5%(Kimi K2.7は72.7%、SWE-1.6は39.7%)
- SWE-Bench Multilingual :77.8%(Kimi K2.7は73.5%、SWE-1.6は58.3%)
- 主要な競合モデルと比較して高いパス率を実現
トレーニング技術の進化
-
エントロピー維持と安定化
- 長期RLで発生しやすいエントロピー崩壊や数値的不安定性を徹底的に解消
- top-pサンプリング による探索性維持と、 サンプリング分布リプレイ で訓練・推論のミスマッチを抑制
- Muonオプティマイザ や非決定的演算の排除による安定化
-
マルチクラスター分散トレーニング
- 世界3大陸にまたがる複数のクラスターでRLトレーニングを実施
- 圧縮重みデルタ の活用で、重み更新の通信コストを99%以上削減
- クラウドオブジェクトストレージ を利用し、全クラスターで重みの一貫性を維持
-
高品質データのキュレーション
- 自動実行テストや学習信号の低いタスクの除外
- 報酬ハッキング防止のためのタスク強化
-
長期タスクの自己圧縮
- モデルが作業状態を自動要約し、サマリーから再開できる自己圧縮機能
- 長期タスクの文脈ウィンドウ制約を克服
耐障害性アーキテクチャ
-
推論エンジン側の障害
- 各エンジンは自己完結型で、障害時の損失は最小限
- NVIDIA Dynamo によるエンジン管理とトークン記録で、レプリカダウン時もトラジェクトリ損失を防止
- オブジェクトストレージから最新のチェックポイントをロードし、迅速な復旧
-
トレーナー側の障害
- 各ノードが非同期でローカルディスクにチェックポイントを保存し、ピア間でシャードを複製
- ノードダウン時も数秒で状態を復元し、並列レプリカ単位でリサイズが可能
- トレーナー再起動後もロールアウトパイプラインが維持され、バッファポリシーでバイアスを防止
行動傾向とモデルの進化
- 慎重な探索 や 簡潔な推論 といった行動傾向を獲得
- SWE-1.7のトレーニング手法による、より高品質なエージェント型AIの実現
SWE-1.7の今後と展望
- トレーニング・インフラ・データ品質・長期タスク対応など、全方位での進化を継続
- RLによる能力向上の可能性をさらに追求し、エージェント型ソフトウェアエンジニアリングの新基準を目指す
- SWE-1.7は、今後の大規模AI開発の指針となるモデル