概要
- Laguna S 2.1 は、長期的な推論能力を重視した 118BパラメータMoEモデル。
- 1Mトークン のコンテキストウィンドウをサポートし、学習開始からリリースまで 9週間未満 で完了。
- 同規模帯で最高水準の コーディングエージェント性能 を発揮。
- 各種ベンチマークでの 詳細な評価結果と全軌跡 を公開。
- 実践的なケーススタディで モデルの応用力と最適化能力 を実証。
Laguna S 2.1：長期推論型コーディングモデルの新基準
- Laguna S 2.1 は 118Bパラメータ のMixture-of-Experts構造、1トークンあたり 8Bアクティブパラメータ。
- Thinking/No-thinkingモード で最大 100万トークン のコンテキストウィンドウ対応。
- 学習開始からリリースまで 9週間未満 という短期間で開発完了。
- 長期的コーディングベンチマーク で、より大規模なモデルにも匹敵する性能を発揮。
- 全評価試行の軌跡データを trajectories.poolside.ai で公開、透明性を確保。
ベンチマーク結果と比較
- Terminal-Bench 2.1 ：70.2%（同規模帯でトップレベル）
- Kimi K3 （2.8T-A50B）：88.3%、 Claude Fable 5 ：88.0%
- SWE-Bench Multilingual ：78.5%
- SWE-Bench Pro （公開データセット）：59.4%
- DeepSWE ：40.4%
- SWE Atlas (Codebase QnA) ：46.2%
- Toolathlon Verified ：49.7%
- いずれのベンチマークも 複数回試行の平均値 で評価、他社モデルと同一基準で比較。
- ベンダー報告値・公式リーダーボード・サードパーティ解析 の最大値を採用。
小型モデルでの突出した性能
- Laguna S 2.1 は 同規模帯で最も高性能なエージェント型コーディングモデル。
- ローカルマシンでの複雑作業 にも適したコンパクト設計。
- Terminal-Bench 2.1 では、他の大規模モデルと比較しても遜色ないスコアを記録。
DeepSWEベンチマークでの詳細分析
- DeepSWE v1.1 は長期的かつ部分的解決が困難な課題を含む。
- Laguna S 2.1 は 40.4% （thinkingモード）を記録し、 1T+パラメータのオープンモデル より高得点。
- 評価ハーネス の違い（pool vs mini-swe-agent）を考慮しつつ、他モデルとも公平に比較。
- 全評価試行の軌跡データを完全公開。
評価手法と透明性
- エージェントモデル評価 はリワードハッキングのリスクが高いため、 厳格な評価手法 を採用。
- 全試行の軌跡データ を一般公開し、第三者による検証を容易化。
- アドバーサリアルジャッジング など新しい評価手法も導入。
ケーススタディ1：ブラウザエンジンの自動構築
- HTML/CSSレンダリングエンジン を ゼロから自動生成。
- 181ステップ・50分間・人間の介入なし で、 自己検証機能付きエンジン を構築。
- バニラJavaScript でパーサー・カスケード・レイアウト・レンダラーを実装。
- キャンバス上の描画とiframeによる実ブラウザ描画の比較 で完成度を数値評価。
- 視覚情報なしでも高度な自己検証と工夫を発揮。
ケーススタディ2：自社ハーネスの自動最適化
- 自社エージェントハーネスの自動最適化 に成功。
- 速度5.2%向上・メモリアロケーション約70%削減 を達成。
- ベンチマーク計測・一手法ずつの検証・成果のみ採用 という厳格な自動ループ運用。
- O(n^2)の文字列連結をバッファ化・冗長なコピーや過剰アロケーションの排除 など複数の最適化手法を自力で発見。
- 改善が頭打ちになっても自発的に新しい指標（メモリ）に注力し続ける粘り強さ を実証。
今後の展望と意義
- Laguna S 2.1 は、 長期推論・複雑な自動化・自己最適化 の分野で新たな基準を示すモデル。
- 全評価軌跡の公開 により、 AIモデル開発の透明性と再現性 を大幅に向上。
- 現実的なエンジニアリング課題への応用力 と、 自己進化能力 を実証済み。