概要

• コーディングハーネスの構成要素ごとの効果検証
• コンテキスト管理、プランニング、アクション空間の比較分析
• SWE-Bench VerifiedとTerminal-Bench 2.1で176条件を評価
• モデル性能・コスト・効率に及ぼす影響を詳細解析
• 今後のハーネス設計・評価指針への示唆

コーディングエージェントのハーネス設計における構成要素の効果分析

• 自律型コーディングエージェント の性能は、 コーディングハーネス の設計に大きく依存
• 従来は ハーネス全体 の評価が主流で、 個別構成要素 の効果は不明確
• 本研究では 実行ループを固定 し、 プランニング・アクション空間・コンテキスト管理 の3要素を変化させて効果を検証
• SWE-Bench Verified および Terminal-Bench 2.1 にて、 176通り の条件を用いて評価実施
• 5種類のコンテキスト管理戦略、 4つのコンテキストウィンドウ制約、プランニングとアクション空間のターゲットアブレーションを組み合わせて比較

主な発見と考察

• コンテキスト管理 は、 コンテキストウィンドウ制約 が厳しくなるほど重要性が増大
  • 主な効果は コンテキストオーバーフロー失敗の防止
• ルールベースの省略処理 を先行し、その後 LLMによる要約 を行う戦略が最も効率的
  • 省略した内容を 回復可能 にしても、モデルはほとんど活用せず、精度向上も見られない
• プランニング は、 弱いモデル にとっては精度向上の足場、 強いモデル にとってはコスト削減手段
  • 精度自体はほとんど変化しない
• 事前定義ツール はbash能力が低いモデルの性能を向上
  • bash操作に強いモデル はbash専用インターフェースで十分な性能と大幅なコスト削減
  • 特にコマンドライン中心のタスクで顕著
• 軌跡レベルの分析 により、各要素の影響を説明
  • コンテキスト管理は 実行軌跡の延長 に寄与し、エージェントの行動自体は大きく変わらない
  • プランニングは 軌跡の終了箇所 に影響
  • アクション空間は コード記述の粒度 を変化

今後のハーネス設計・評価への示唆

• モデル性能や コスト制約 を考慮した ハーネス設計 の重要性
• 構成要素ごとの モジュラー評価フレームワーク の有用性
• 今後の研究・実用化に向けた ハーネス構成要素の個別最適化 指針