概要
- Ornith-1.5 は自己改善型基盤モデル構築の大きな進歩
- モデル自身が新しいタスク生成・評価・解決を行い、強化学習で性能向上
- 397B MoE/35B MoE/9B Denseの3スケール展開
- コーディング・推論・エージェント分野で同規模OSSモデルを大幅に上回る性能
- モバイル対応の軽量版も登場し、幅広いデバイスでの利用が可能
Ornith-1.5:自己改善型基盤モデルの新展開
- Ornith-1.5 は、自己スキャフォールディング(self-scaffolding)フレームワークを拡張し、タスク生成・スキャフォールド構築・解決ロールアウトまでを自己完結的にループする自己改善型モデル
- モデル自身が新たなタスクを提案し、タスクごとにスキャフォールド(指示やツール、分解戦略など)を生成・最適化
- 生成されたタスクに対してロールアウト(解決手順)を作成し、強化学習を通じて継続的に自己能力を向上
- 3つのモデルスケール(397B MoE、35B MoE、9B Dense)を用意。最上位の397B版は Claude Opus 4.8 と同等の性能を実現し、GLM-5.2やDeepSeek-V4-Flash-0731などのOSSモデルを上回る
- Ornith-1.5-9B はモバイル(iPhone/Android)にも展開可能で、より大型モデル(Gemma 4-31B、Qwen 3.6-35B)を凌駕する性能
自己生成タスク・スキャフォールド・解答による自己改善ループ
- Ornith-1.5は、タスク生成・スキャフォールド構築・ロールアウト最適化を同時に最適化
- 人手による固定タスクや設計済みハーネスに依存せず、モデル自身が新規トレーニングタスクを生成。未解決・難易度の高いタスクを発見し、学習フロンティアを拡張
- 各タスクごとに、タスク特化型スキャフォールド(指示・分解・評価環境など)を生成・改善
- タスクとスキャフォールドをもとに解答ロールアウトを生成し、その報酬を3段階(タスク生成・スキャフォールド構築・ロールアウト)に伝播
- このループを繰り返すことで、より難易度の高いタスクや多様なスキャフォールド・解答戦略を自発的に開発
タスク報酬設計
- タスク→スキャフォールド→ロールアウトの流れで、 有効性(Validity)・フロンティア難易度(Frontier Difficulty)・新規性(Novelty) の3要素を掛け合わせてタスク報酬を算出
- 有効性 :タスクとスキャフォールドが正しく実行・評価できるか(0-1で判定)
- 難易度 :モデルの現状能力に近い成功率(p* = 0.2)を目指すタスクを高評価
- 新規性 :既存タスクとの類似度を下げ、多様性を確保
- 有効性が0の場合は他の要素が満たされても報酬ゼロ(不正タスク排除)
ハーネス・ロールアウト報酬設計
- ハーネス(評価環境)は、 タスク整合性・報酬忠実性・ハック耐性 の3要素で評価
- ロールアウト(解答)はハーネスによる直接評価(例:バイナリ合格/不合格、複合的な正確性・効率・制約充足度など)
- これら3段階すべてをGRPO(強化学習法)で同時最適化
ベンチマーク比較(抜粋)
Ornith-1.5-397B
- Terminal-Bench 2.1: 86.1 (Claude Opus 4.8:85.0、GLM-5.2:82.7)
- DeepSWE: 56.0 (Claude Opus 4.8:59.0、GLM-5.2:46.2)
- SWE-bench Verified: 86.0
- Reasoning(HLE with tools): 56.1
- Agentic(MCP-Atlas): 80.0
Ornith-1.5-35B
- Terminal-Bench 2.1: 67.8 (Qwen 3.6-35B:52.5、Gemma-4-31B:42.1)
- SWE-bench Verified: 79.0
- Reasoning(HLE with tools): 33.4
Ornith-1.5-9B
- Terminal-Bench 2.1: 46.2 (Qwen 3.5-9B:21.3、Gemma-4-31B:42.1)
- SWE-bench Verified: 70.6
- Reasoning(HLE with tools): 30.5
評価手法とセーフガード
- 各ベンチマークは 5回の独立実行の平均値 で評価
- Terminal-Bench 2.1はHarbor/Terminus-2フレームワーク(128K context, 32CPU, 48GB RAM, 4時間タイムアウト)で実施
- SWE-Bench系はOpenHandsハーネス+アンチハッキング対策を適用
- Qwen chatテンプレートやHarborの細部も調整し、推論時の一貫性を確保
まとめ
- Ornith-1.5 は、自己生成タスク・スキャフォールド・解答による完全な自己改善ループを実装
- モデル自身の能力向上に合わせてカリキュラムが自動進化
- コーディング・推論・エージェント系タスクでOSSトップクラスの性能を発揮
- モバイル展開も可能な軽量モデルで、幅広い応用が期待