概要
- SlopCodeBench は、コードベースの品質維持能力を測る新しい長期的ベンチマーク
- Opus 5 は部分ベンチで24%のstrict pass率を記録、他モデルよりわずかに優秀
- コードの複雑性・冗長性・重複 など多角的な品質指標でモデルを評価
- すべてのモデルが課題進行で コード品質の劣化 を示す結果
- Strict pass率 の向上が「保守性の高いコードベース構築能力」の指標となる可能性
SlopCodeBenchによる長期的コードベース評価
- SlopCodeBench は、@GOrlanski率いるUW Madisonの研究室が開発した 長期的なコーディングベンチマーク
- 各課題は複数の チェックポイント で構成され、モデルは要件が段階的に開示される中でコードベースを進化させる必要
- GPT-5.4 や Opus 4.6 など先端モデルでもstrict pass率は11%・17%と非常に低い
- Opus 5、Sonnet 5、Opus 4.8を用い、3課題・17チェックポイントで実験
- circuit_eval（易）8チェックポイント
- database_migration（中）5チェックポイント
- dynamic_config_service_api（難）4チェックポイント
- strict pass基準： 全ての新旧テストを完全合格 した場合のみカウント
実験結果と考察
- Opus 5 が24%（4/17）のstrict passで他モデルより優秀だが、全課題で最終チェックポイントまで無欠陥到達したモデルはゼロ
- Opus 4.8 と Sonnet 5 は各1回（6%）のstrict passにとどまる
- Opus 5は最初の3チェックポイントで連続合格、その後は毎回何らかの欠陥発生
- コスト面では、Sonnet 5が初期は高価だが課題進行で最も低コストに
- strict pass率の向上は「長期的なコードベース保守能力」の重要な信号
コード品質指標の詳細
- SlopCodeBench は41種の品質指標を各チェックポイントで自動計測
- サイズ：ソース行数、関数数、クラス数、追加・削除行数
- 複雑性：サイクロマティック複雑度、ネスト深度、平均関数長
- 重複：クローン行数、重複率
- 分解度：単一利用関数、ラッパー関数、未使用変数
- 規則違反：lintエラー、AST-grepヒット数
- 依存グラフ：伝播コスト、循環依存度、エントロピー
- ほぼ全てのモデルで コード品質指標が悪化 する傾向
- Opus 5は他モデルより冗長性・複雑性の増加が抑えられたが、関数数は5倍に増加
- すべてのモデルで 冗長なコード行 がチェックポイント進行とともに増加（例：ck1で65%→ck8で80%）
モデル間の特徴比較
- Opus 5 ：関数数が他モデルの5倍、ただし単一利用関数の割合は低め
- Opus 4.8 ：単一利用関数率約50%、複雑性増加が顕著（最大サイクロマティック複雑度93）
- Sonnet 5 ：単一利用関数率71.5%、課題進行で関数サイズが増大
- 重複率 ：Opus 4.8は課題進行で4.6%→16.8%に急増、Opus 5はほぼ横ばい
コードベース保守性の評価と今後
- strict pass率の向上は「 長期的な保守性」の有力指標
- 既存のコード品質指標だけでは保守性の全体像を捉えきれない
- SlopCodeBenchのような 段階的仕様開示型ベンチマーク が、今後のモデル評価の新基準となる可能性
- 現状のAIモデルは「lights-off」（完全自動）運用にはまだ信頼できない水準
- 今後は Fable や 5.6 Sol など新世代モデルの検証も予定
まとめ
- SlopCodeBench は、モデルが実際のソフトウェア開発現場でどこまで「保守性のあるコードベース」を維持できるかを測るための、現時点で希少かつ有望なベンチマーク
- strict pass率や複数の品質指標を組み合わせて、モデルの限界と進化を定量的に把握可能
- Frontierモデルの進化によるstrict pass率の変化が、実運用での信頼性向上の鍵となる