概要
- Real-SWEは、実際の企業の プライベートコードベース でAIモデルを評価する新たなベンチマーク
- タスクは 現場エンジニアが日常的に直面する問題 から抽出
- 各モデルの 解決率は最大でも約40% と現状の限界を示す
- 企業独自の 複雑なビジネスルールやコーディング規約 への対応が求められる
- モデルごとの コストと成功率の比較 も実施
Real-SWE: 企業プライベートコードベースにおけるAIコーディングベンチマーク
- Real-SWE は、最先端AIモデルを 実在企業のプライベートなプロダクションコードベース で評価するためのベンチマーク
- 各タスクは、企業が実際に運用している 本番コードからライセンス取得した問題 を元に作成
- 公開されていないプロプライエタリなシステム 上での作業が求められ、インターネット上の情報だけでは解決できない
- ビジネスに直結する課題 （請求、税計算、顧客移行など）が多く、企業運営に直接影響
- 企業ごとの 独自ルールやコーディングパターン を理解し、既存システムとの整合性維持が必要
モデル別解決率ランキング（pass@1平均）
- Fable 5.1 Claude Code：38.8%
- GPT-6 Astra Codex CLI：33.8%
- Gemini 3.8 Flash Gemini CLI：31.2%
- GLM 5.3 Claude Code：28.8%
- Grok 4.6 Grok Build：23.8%
- Muse Spark 1.3 Muse Code：23.8%
- Kimi K3 Kimi Code：18.8%
- GPT-5.6 Sol Codex CLI：16.2%
Real-SWEタスクの特徴
- 実会社の業務要件 に基づくタスク設計
- 例： 請求書の税計算ロジック修正 や 顧客ID移行 など
- 複数サービスやツール （AWS Emulator, Docker, Kubernetes, PostgreSQL, Redis, Slack, etc.）横断の作業
- 短い指示文 でも 多ファイル編集 が必要（中央値：11ファイル）
- 指示の長さ中央値 ：1,742文字（他ベンチマーク比でやや短め）
- 業務要件・既存ロジックの理解力 が強く問われる
モデルの失敗傾向
- 10分未満のロールアウトでも7割以上が失敗
- 失敗理由の最多は 要件の見落とし
- 企業独自のコーディングパターンやビジネスルール の理解不足が主な課題
- モデルごとに 失敗の仕方が異なる （未検証の仮定、統合エラー、リグレッション、ファイル間違い等）
経済的意義と現実的難易度
- プライベートコードベースタスク はAIモデルの訓練データに含まれないため、 分布外問題 として難易度が高い
- 実際のエンジニア給与に基づく業務 を反映したタスク設計
- 企業ごとのコーディング標準やパターン への適合が不可欠
モデルごとのコスト比較（1ロールアウトあたり）
- Gemini 3.8 Flash：$2.50
- GPT-5.6 Sol：$2.65
- Muse Spark 1.3：$2.74
- Grok 4.6：$3.44
- Kimi K3：$3.90
- GPT-6 Astra：$4.67
- GLM 5.3：$5.12
- Fable 5.1：$6.96
分析：Real-SWEサンプルタスクの詳細
- 10タスク中6つで解決率15%未満 という高難易度
- 例： APIトークンメータリング、S3データストア計測、税管轄判定 など
- 失敗の主因 は「要件見落とし」と「未検証仮定」
- 全モデルが全タスクを解決できた例はなし
- モデルごとの失敗パターン を可視化し、今後の改良ポイントを特定
まとめと今後の課題
- 現状のフロンティアAIモデルは、実世界の企業コードベース業務を完全に代替できるレベルには至っていない
- 業務要件の正確な把握・企業独自のコーディングパターン理解 が今後のAIエージェントの重要課題
- コストと成功率のバランス、及び 分布外タスクへの適応力 が、AIコーディング支援の現実的な指標
- 今後は より多様な企業コードベース での評価や、 要件理解・検証能力の強化 が求められる