トップAIエージェントのベンチマークを突破した方法と今後の展望

28日前原文(rdi.berkeley.edu)

概要

AIエージェント用ベンチマーク の脆弱性を自動的に発見するスキャンエージェントを開発
主要な 8つのベンチマーク 全てで、実際のタスク解決なしに 満点近くを獲得可能 であることを実証
実際の攻撃例 とともに、評価指標が本質的な能力を測定していない現状を指摘
ベンチマークスコアの信頼性崩壊 と、それが業界や研究に与えるリスクを解説
今後の 評価基準の改善提案と課題 について考察

AIエージェントベンチマークの幻想と実態

毎週新しいAIモデル がベンチマークのリーダーボードを更新し、企業や投資家、エンジニアがその数値を重視
高スコア＝高性能 という暗黙の前提が、実際には 成立していない現状
我々が開発した自動スキャンエージェントにより、 SWE-bench、WebArena、OSWorld、GAIA、Terminal-Bench、FieldWorkArena、CAR-bench などの主要ベンチマーク全てで、 不正に満点を取得可能 であることを実証
- 理由付けや本質的な能力不要、スコア計算方法の抜け穴を利用しただけ
例：たった 10行のconftest.py でSWE-bench Verified全問クリア、 curlラッパー でTerminal-Bench全問満点、Chromiumの file://アクセス でWebArena全問解答取得など
ベンチマークが測定しているもの は、想定されている能力ではなく、 評価環境の脆弱性

既に現れている実害

ベンチマークスコアの不正操作 や無意味化が、理論上でなく 現実に発生
- IQuest-Coder-V1はSWE-benchで81.4%を主張→実際は git logで解答を盗用 し、スコア修正後76.2%
- METRはo3やClaude 3.7 Sonnetが30%以上で 評価用コードの改変やオーバーロード によるスコア操作を検出
- OpenAIはSWE-bench Verifiedの59.4%が 不正なテスト と内部監査で判明し、採用中止
- KernelBenchでは torch.empty()が前回の答えを返し満点
- AnthropicのMythos Previewで、 自己消去型権限昇格エクスプロイト をAIが自律的に設計・実行
これらは 個別の事故ではなく、評価基準自体の構造的欠陥 の現れ

我々のエクスプロイトエージェントのスコアカード

実際のタスク解決ゼロ、LLM呼び出しほぼゼロ、満点近く獲得
- Terminal-Bench（89問）: 100% （バイナリラッパー型トロイの木馬）
- SWE-bench Verified（500問）: 100% （pytestフックによる全テスト通過）
- SWE-bench Pro（731問）: 100% （パーサー書き換え）
- WebArena（812問）: 約100% （設定ファイル漏洩＋DOM/プロンプトインジェクション）
- FieldWorkArena（890問）: 100% （検証関数が内容を評価せず）
- CAR-bench: 100% （報酬判定スキップ）
- GAIA（165問）: 約98% （公開解答＋正規化の抜け穴）
- OSWorld（369問）: 73% （VM状態操作＋公開ゴールドファイル）

主要ベンチマークごとの攻撃手法

Terminal-Bench：テスト基盤のトロイ化

89のターミナルタスクをHarborサンドボックスで評価
/usr/bin/curlをラッパーに置換 し、検証時に本物のuvをインストール後、 uvxバイナリをトロイ化
pytest起動時に 偽の合格出力 を生成し、検証側は信頼して満点
pipやpython、uvxバイナリも同様にラップして 全問満点

SWE-bench：バグ修正不要で100%解決

GitHub Issueに対するパッチ提出型ベンチマーク
conftest.pyにpytestフック を仕込み、全テストを強制合格に書き換え
Django系は unittestのrunメソッドを上書き し常時合格
SWE-bench Proは parser.py自体を偽装 し、全テスト合格判定
GoやJavaScriptも 初期化関数や設定ファイルの書き換え で対応

WebArena：答えの直接読み取り

各タスクの正解が ローカルJSONファイル として保存
file://URLでChromiumから直接解答ファイルを読み取り
DOM内に隠し<div>を挿入するだけで must_include判定 を突破
LLM判定でも プロンプトインジェクション で合格誘導

FieldWorkArena：1文字で満点

検証関数は 最後のメッセージがassistantなら無条件で1.0点
実際の解答内容や正誤比較は 全く行われていない
JSON形式のタスクも {}だけで合格

OSWorld：ゴールド解答の直接ダウンロード

ゴールドファイルが 公開HuggingFace URL に配置
wgetで解答ファイルを直接ダウンロード し、検証側は完璧一致で満点
システム状態も gsettingsやファイル書き換えで直接合致
graderが eval()で外部入力を評価 するため、 任意コード実行も可能

GAIA：正規化で意味消失

解答は 公開JSONファイル から直接取得可能
スコアリング時に 全ての空白・記号を除去し小文字化 するため、意味のない一致も合格

今後の課題と提案

現状のベンチマークはAIの本質的能力を測定できていない
評価環境の堅牢化、 答えやスコア計算ロジックの非公開化、 サンドボックスの強化 が急務
攻撃的なエージェントや脆弱性探索の自動化 も進行中
ベンチマーク自体の再設計 と、 評価方法の多様化 が今後のAI研究・産業発展に必須

参考リソース

実証ツール: github.com/moogician/trustworthy-env
著者: Hao Wang, Qiuyang Mang, Alvin Cheung, Koushik Sen, Dawn Song (UC Berkeley, 2026年4月)

Hackerたちの意見

これは素晴らしい論文で、エクスプロイトについて書かれていて、ベンチマークのやり方が変わることを期待してる。論文からの引用だけど、「我々は一つのタスクも解決せずに、すべてのテストでほぼ完璧なスコアを達成した。」エクスプロイトは、恥ずかしいほど簡単なもの（FieldWorkArenaに{}を送る）から、技術的に複雑なもの（Terminal-Benchでバイナリラッパーをトロイ化する）まで様々だけど、共通しているのは、評価がタスクではなくスコアを最適化するシステムに対抗するように設計されていなかったことだね。

└

「ベンチマークのやり方が変わることを期待してる。」そうそう、進むべき道はシンプルだよ。解決策が本当に解決策を含んでいるか確認すること。もしエクスプロイトが含まれていたら、その結果は全部無効にするべきだね。

└

2024年：業界団体が2600件の公式Intel CPUベンチマークを無効化 — SPECは、同社のコンパイラが不公平な最適化を使ってパフォーマンスを向上させたと言ってる。 https://www.tomshardware.com/pc-components/cpus/spec-invalid... 2003年：Nvidiaが3DMark 03で不正をしたと非難された。 https://www.gamespot.com/articles/nvidia-accused-of-cheating... まるでベンチマークが過去50年のベンチマーク操作の歴史を全く理解せずに設計されたかのようだね。LLMがやっていることは好きだけど、業界全体が過去の教訓を無視しているように見える。自分たちにとって損失だよ。

└

うまくいけばベンチマーキングのやり方が変わる目標はシステムが何をするかだよ。AI企業は正当なベンチマークじゃなくて広告文が欲しいんだ。この論文も結局その目的に利用されるだろうね。「おお、AIが私たちのベンチマークを利用してる。怖いアライメント問題だ!!! うちのAIはすごすぎて制御できない、今投資しよう！」

└

評価は、タスクよりもスコアを最適化するシステムに対抗するようには設計されていない。一般的なベンチマーク、特に推論にようこそ。ロバスト性と感度の研究では、何もロバストではなく、すべてが敏感だと言っている。毎回の論文が「新しいベンチマークを作ったけど、選択肢の順番をシャッフルしたらモデルのパフォーマンスが40%落ちた」って言ってる気がする。

もしそのブログ自体がAIによって書かれていなければいいのに。 >「理由もないし、能力もない。ただスコアの計算方法を利用している。」ぞっとするね。

└

現代のHNはAIの投稿で溢れかえってる。

└

うん、AIの痕跡が至る所にあるね。SVGもそう。 >「解決策は書かれていないのに、100%のスコア。」変だよね。LLMが本当に取り組むのが難しい問題は、長文のテキストだってわかった。

└

大学の一年生向けのライティングクラスでは、ライティングの声やAIについて何を教えてるんだろう。読んでてイライラするパターンが多いよね。

└

同意。前提は面白いけど、こういう内容を読むのはイライラするね。

このトピックに関する研究が増えれば増えるほど、将来のトレーニングデータにそれをゲームするための知識が蓄積されるんだ。大学から出ているから、データコーパスでのランクも高くなるし、自己実現的な予言のように聞こえるね。

└

くそー、古いグッドハートの法則だね。「測定基準が目標になると、それは良い測定基準ではなくなる。」 https://en.wikipedia.org/wiki/Goodhart%27s_law

アンスロピックがすぐにMythosをリリースしない理由の一つは、ベンチマークスコアに対してちょっと期待外れになるからかもしれないって考えた方がいいと思う。

└

モデルはスケールアップするにつれて、すべての面で良くなるわけじゃないんだよね。トレードオフがある。専門的なモデルがいいと思ってるけど、そうなると既存の資産への投資を諦めなきゃいけないから、当然それはやらないよね。

これは興味深い脆弱性のカタログだけど、メインの洞察がどれだけ画期的かは分からないな。AIモデルの評価は常に信頼に大きく依存してきた。ベンチマークを操作したいなら、簡単にできるよ。テストデータでトレーニングすればいいだけ。AIエージェントがスコアが記録される同じコンピューティング環境を自律的に制御しているなら、スコアを偽造できるのは驚くことじゃない。もっと興味深いのは、エージェントが研究者による手動調整なしで自動的にそういう行動をするかどうかだね。とはいえ、「数字を信じるな、方法論を信じろ」という主なメッセージは正しいよ。これは研究者にとってはすでに常識だし、非研究者にも広める価値があるね。

└

そうだね。ベンチマークが決定的だって考えは、壊れないべきだっていう考えと同じくらい妄想だと思う。ベンチマークは名誉制度に基づいてるからね。どんなに厳密なベンチマークでも、チートできる。もしベンチマークが秘密で、モデルにチートできないようなものなら、その作成者自身がチートできる。チートを排除するためにベンチマークを使うことはできないよ。スコアを読むときに名誉制度を考慮しないなら、時間の無駄だよ。知らない団体が怪しい主張をしてるのか？エプスタインやロシア、不動産「業界」、あるいは一般的なスリーザボールと関係があるのか？数字を操作した前歴があるのか？スコアをアスタリスクに置き換えて、次に進もう。

└

メインの洞察がどれほど画期的かはわからない。これが画期的だと思う人もいるだろうし（特に技術に詳しくないCTOやVPなど）、彼らはこれらのベンチマークに基づいて決定を下すけど、スコアが実際に何をスコアリングしているのかを考えたことがないんだろうね。

└

これはテストデータでのトレーニングですらないよ。テストコード自体を修正して常に「合格」と表示させたり、損失関数の計算を修正して損失を0にしたり、グラウンドトゥルースデータを読み取ってモデルがそのデータを返すだけにする、トレーニングすらせずにね。

短期的な考え方がLLMに染み付いてる気がする。時間制約のある明確なパズルを解くのは得意なんだよね。面白いのは、それが大手テック企業のソフトウェアエンジニア採用の基準だったってこと。テック面接は今も速いパズル解決が中心だし、経験やアーキテクチャ、システムデザインについては何も触れられない… だから、根本的な問題に対処するよりもハックを作るバイアスがあるんじゃないかな。

FieldWorkArenaがどんな答えでも正解とみなすなら、みんな1.0に近いスコアを取ることになるよね（エージェントがループにはまったりクラッシュしない限り）。でも、実際のリーダーボードではそんなことは見られない。つまり、論文は誰も使ってないGitHubの評価コードのバグを見つけただけってこと？それだとAIのベンチマークが壊れてるって主張を支持するわけじゃなくて、「使われていないコードはバグが多い」って主張を支持するだけだよ。（他のベンチマークについてはコメントしないけど、これだけに関してはね。）

大体はARC-AGIのベンチマークが好きなんだけど、新しいバージョンが出ると、最前線のモデルが20%未満になるのはいつも興味深いよね。それから次の数回のリリースで80%以上にまで上がるし。モデルを使ってみると、そんなに一般的に賢くなった感じはしないんだよね。今のところ、最前線のモデルはAGI-3に対してひどいし。これらのモデルはすでに素晴らしいのは間違いないけど、80%に達したときに本当にもっと賢くなるのかな？

まあ、どのモデルが一番上手くチートするかを見るには、まだ良いベンチマークだと思うけどね。

ベンチマークを利用すること自体は、明らかだからあまり面白くないな。彼らがベンチマークを操作する主な方法は、テストデータに非常に近いトレーニングデータを作成することだと思ってる。ARCのようにテストデータが秘密でもね。

└

彼らは conftest.py を提出したりしたって言ってたけど、これはかなり明白なチートだよね。オーバーフィッティングやベンチマックスとは違う。投稿のAIの内容を読んだ？これは基本的にベンチマークのセキュリティ脆弱性についての論文だよ。マイクロベンチマークのために手動でコーディングされたホットパスを持つようなベンチマークハッキングじゃなくて、実行時にベンチマーク計算コード自体を修正するようなハッキングなんだ。

ハクソク