概要
- モデル能力の正確な評価は、安全な運用と意思決定に不可欠
- SWE-bench VerifiedとSWE-Bench Proの評価指標に重大な欠陥を発見
- SWE-Bench Proの約30%が壊れているタスクであると判明
- ベンチマークの厳格な検証と人間・エージェントの併用による監査の重要性
- SWE-Bench Proの推奨を撤回し、新たなベンチマーク開発の必要性を強調
モデル能力評価の重要性と課題
- モデル能力の正確な測定 は、安全な運用やOpenAI Preparedness Frameworkに基づく意思決定の根拠
- 新モデル公開時 には、外部・内部ベンチマークの結果を報告し、進捗を追跡
- 評価指標の欠陥 があると、モデル能力の誤認や安全ケースの誤解、研究優先順位の誤りにつながるリスク
SWE-bench VerifiedとSWE-Bench Proの問題点
- SWE-bench Verifiedに 設計・データ汚染の根本的な問題 を発見
- SWE-Bench Proは、SWE-bench Verifiedの問題を改善し、 より現実的かつ長期的なコーディングタスク でエージェント的コーディング能力を評価する目的
- 8ヶ月間で パス率23.3%から80.3%へ向上 という進捗を記録
- SWE-Bench Proも 大規模な監査 を実施し、データポイント分析パイプラインによりタスクの欠陥を抽出
主な評価欠陥の分類
- 過度に厳格なテスト ：プロンプトで指定されていない実装詳細を強制し、正しい提出も無効化
- 要件不十分なプロンプト ：推測不可能な要件を隠しテストで強制
- テストカバレッジ不足 ：不完全な修正でもパスしてしまう
- 誤解を招くプロンプト ：間違った挙動を誘導、テスト要件と矛盾
データ品質保証パイプラインと監査手法
- 自動フィルター でタスク指示・モデル試行・採点テストを分析し、欠陥例を抽出
- エージェント支援監査 ：Codexベースのエージェントがリポジトリや環境にアクセスし、曖昧さや真の要件不足を識別
- 人間注釈キャンペーン ：熟練エンジニア5名が独立してタスクを審査し、ラベルと重大度を付与
- 人間とエージェントの判断 の違い：人間はより多くのタスクを壊れていると判定し、複数の欠陥ラベルを付与する傾向
監査結果と発見
- データポイント分析パイプラインで 27.4%（200件）、人間注釈で 34.1%（249件） が壊れているタスクと判定
- 人間審査は、エージェントよりも 低カバレッジテスト問題 を多く指摘
- プロンプトとテスト要件の 乖離 や、実装詳細の強制などが主な失敗要因
ベンチマーク設計の困難と今後の展望
- オープンソースリポジトリの イシューやプルリクエスト は本来人間同士のコラボレーション用であり、モデル評価に適したクリーンなタスクではない場合が多い
- プルリクエストのテスト は特定の変更を検証するため、実装非依存の基準にはなりにくい
- モデル能力の向上により、 モデル自身を使ったデータ品質監査 がより現実的かつ効率的に
- 新たなベンチマーク開発 の必要性：熟練開発者が設計し、モデル能力に特化した評価基準の構築
結論と提言
- SWE-Bench Proの 約30%が壊れているタスク であることを踏まえ、推奨を撤回
- 評価指標は、信頼性・難易度・モデル能力の正確な反映 が不可欠
- OpenAIの運用・安全性判断に直結するため、 有効で情報価値の高い評価 の維持が重要