なんで両方が真実にならないの？どのLLMシステムから出てくる出力の質も、それを使う人間を通してフィルタリングされるんだよ。LLMが生成した「レポート」を問題管理システムにペーストするバカがいるからって、LLMから良い結果を引き出す方法を知ってる専門家の努力が否定されるわけじゃない。

両方とも真実だよ、違いはLLMを使ってレポートを生成するプログラムを作る人たちのスキルレベルだね。curlのバグバウンティプログラムで見かけるAIのゴミは、そもそもハッカーじゃない人たちから来てることが多い。逆に、著者のような人は明らかにセキュリティリサーチに熟練していて、確実に有効なバグを報告するだろう。同じことは、LLMを使ったエクスプロイト開発を行っている人たちにも言えるよ。アメリカではXbowがかなりのスキルを持った研究者を雇って、かなり期待できる開発をしてたしね。

もし役に立つなら、これを読んだのは（ここに来る前に）Halvar FlakeがTwitterでみんなに読むように言ってたからだよ。

エクスプロイトに関しては、試してみて、うまくいくかどうかだよね。攻撃者は成功したものがなぜうまくいったのかを分析することには特に興味がない。CVEレポートは、可哀想なメンテナーがそれを確認してトリアージしなきゃいけなくて、こっちの方がずっと大変だし、非対称的だよ。報告者は大量にスパムレポートを生成できるけど、各レポートは詳細な分析が必要だからね。

これらのエクスプロイトは、それぞれ50ドルのAPIクレジットがかかってたんだ。バグハンティングで100ドル使って5001件の問題を受け取ったとして、そのうちの一つが50ドルで、他の5000件がそれぞれ1セントだったら、完璧な文法と馴染みのあるサイバーセキュリティ用語を使っても、見た目では区別がつかないから、ダイヤモンドを見つけるのは難しいよね。

両方とも真実になり得るよ。各グループが自分たちの立場を支持するLLMの出力を選択的に提供するからね。要するに、この状況は「無限の猿定理」の一形態として考えられる。結果の範囲が「純粋にランダム」から「統計的に関連性が高い」へと大幅に縮小される感じ。上記の定理についての面白い概要はここを見てね。

LLMは良い出力と悪い出力を生み出す。ポイントは、どれがどれかを見極めることだね。良い出力が簡単に区別できるタスクでは彼らは優れている。例えば、バグのための小さな再現例を作るのにたくさん成功してる。巨大なコードの山から奇妙な挙動Aが出てきて、それを小さな例でどうやって引き起こすかを考えるんだ。多くの場合、うまくいくし、間違った場合はその例がAを実際にはやっていないから簡単に検出できる。無駄なバグ報告を送る人たちは、良い出力をチェックしてないんだよね。

両方とも正しいよ。エクスプロイトは非常に狭い問題で、成功の指標が明確なんだ。一方で、LLMの根強い持続性を自然に補完している。バグレポートは比較するとずっと曖昧で、オープンエンドの目標があって、プロンプターが知らないうちに宿題を手抜きするような感じになる。

確かにそういうこともあるよ（私の経験上）、LLMの使い方によって出力の質に大きな差が出るから。例えば、ブラウザでツールを使わずに「このプログラムの脆弱性を見つけて」とLLMに聞いたら、何かは出てくるけど、ほとんどが幻覚か無関係なものになる可能性が高い。でも、同じLLMモデルをエージェント経由で使って、成功を証明するための具体的なガイダンスと環境を提供すれば、良い結果が得られる可能性が高くなる。Claudeのコードのように、テスト環境を提供しないと、コーディングでミスをしがちで「大丈夫」と言ってくるけど、テストループを提供すれば、実際に動くまで繰り返してくれる。

使っているモデルによるね。OpusのバグレポートとGemma3のバグレポートは同じレベルじゃないよ。

著者は面白いポイントをいくつか挙げてるけど、あんまり心配してないな。メンテされてないソフトウェアや最近のものがたくさんあるから、心配するのが正しいアプローチだと思う。唯一確実に得をするのはLLM企業で、両方にトークンを売ることができるからね。

それに加えて、ソフトウェアやハードウェアは時間とともに構造的にもっと安全になってきてる。言語の安全機能やメモリ整合性の強制などの新しい変更が、エクスプロイトを見つける難易度を大幅に上げると思うよ。

これらのツールは、守る側が使うのにも対称的に感じるよね。なんでかって？攻撃者も防御ソフトウェアを実行できるからさ。だから、何百万ものテストケースを試せるし、一つでも防御を突破できれば、それを本番に持っていけるんだ。

そうそう、これらのツールはすでに防御的に使われてるよ。例えば、GoogleのBig Sleepでね。https://projectzero.google/2024/10/from-naptime-to-big-sleep... これまでに見つかった脆弱性のリストはこちら: https://issuetracker.google.com/savedsearches/7155917

でも、複雑なシステムはそういう風には動かないよね？君はこれらのツールが守る側にとって「対称的」だと言ってるけど、両方が同じツールを使うと、すぐに守る側が「非対称戦争」の文脈で不利になるんだ。防御側は常にすべてがうまくいく必要があるけど、攻撃側は一回でも何かがうまくいかないだけでいいんだから。

全然対称じゃないよね。資金が必要なバグが無数にあるし。もし攻撃者がこれらのツールを使ったら、見つけたバグはサイバー兵器になっちゃう。防御側が使っても、すべてのバグを見つけて修正しない限り、攻撃者を阻止することはできない。どちらが「すべて」か「いくつか」かは対称じゃない。

防御側は、CABや変更管理、稼働時間の要件など、ビジネスの制約の中で動かなきゃいけないから、余計に複雑なんだよね。脅威を与える側はそういうのがないから、素早く動けてスケールも効く。

LLMのレッドチームは、ほとんどの人には高すぎると思う。実際のインフォセック会社がプロンプトを書いたり、検証したりする必要があるから。でも、ただコンソールの前に座って試してるだけなら、エクスプロイトを見つけるのにそれは必要ないよ。ハッカーはまだ、1) 時間、2) コスト（防御側やレッドチームよりも安く済む）、3) 一度だけ運が良ければいいっていう大きなアドバンテージがある。

これらのツールは、防御側が使うと対称的に感じる。そうは思わないな。純粋な数学的観点から見ると、攻撃者は成功するためにpass@xだけでいいけど、防御側はavg@1やmaj@xでより良い（または同等の）結果が必要だよ。つまり、レッドエージェントは一度だけ成功すればいいけど、ブルーエージェントは常に成功しなきゃいけない。現在のエージェントは、pass@xでmaj@xよりもずっと優れている（20-30%）。現実では、「ティーンエイジャーが数十億ドルの会社にハッキングしてクリプトマルウェアをインストールした」みたいなタイトルを時々見る理由だよね。レッドとブルーのエージェントを「ループ」で使うことでセキュリティが向上するのは間違いないと思うけど、レッド側には数学的なアドバンテージがあるとも思う。

それに関しては、原則的にはファズテストとあまり変わらないんじゃない？

へぇ。実際に起こってることは、そういう国やグループが「ハッカー」に、バイブコードされたLLMの出力の一般的なミスを分析させて、手動で一般的なエクスプロイトを書かせてるんじゃないかな。

これが、QuickJSのようなC実行可能ファイルがLLMにとってどれだけ脆弱かを示してるよね。（もし君が情報セキュリティの研究者として、脆弱性を見つけてエクスプロイトするために正しくプロンプトを与えれば）。> Use-After-Freeを通じてlibcポインタを漏洩させる。このエクスプロイトは、脆弱性を使ってlibcへのポインタを漏洩させるんだ。バイナリがlibcへの呼び出しが非常に限られていない限り、Rustが君を救うとは思えないけど、RustコードでUse-After-Freeが起こるのはずっと難しいだろうね。

glibcの終了ハンドラー > わお。そうだね。

「確率的オウム」なんて話はこれでおしまいだね。

もしかしたら、対策を外せるかも。見かけるエクスプロイトは、まず脆弱性を見つける（これが難しい部分）。次に、効果が薄い「対策」を5層も掘り進む（これが面倒だけどほぼいつもできる部分）。確率的な対策は確率的な攻撃には効くと思うけど、エクスプロイトを書く人たちはランダムじゃなくて、狙いを定めて弱点を見つけるからね。

なぜ、ターゲットで単一のエクスプロイトを見つけることが全体のシステムを保護することに対して偏っているという三段落目を編集したの？

「十分に難しい」タスクはすべてIPの壁の後ろにある。もしそれが「十分に難しい」なら、一般的には商業的な問題で、異なるワークフローが関与していて、実際の人間が必要なんだ。おそらくその人はa) やる気がないか、b) 公開することを許可されていない。インセンティブは、そのタスクを解決することで得られるすべての価値をできるだけ長く保持し、その後にのみ公開するように整っている。

Anthropicのモデルは素晴らしい作業者/ツールユーザーだよ。OpenAI Codex Highは優れたレビュアー/修正者。Geminiは、数週間前にクラシックアートが好きだと言ったから、あなたのバスルームの壁を記憶からモネ風に塗り替える天才だ。Geminiはそのタスクについて言及しなかったし、始めるとも言わなかった。でも、あなたが認めざるを得なかった後、かなり良い仕事をしたよ。

エクスプロイトの形式的モデリングは、現在非常に未成熟な分野です。これについて、いくつかのリソースを指摘しながら詳しく説明してもらえますか？

…じゃあ、重要なマシンにランダムなものをダウンロードして実行しない方がいいんじゃない？ :-)) あなたの言う通りだね。30年前は、XYのベンダーのページに行って最新バージョンをダウンロードするのは安全だったし、ほぼ問題なかった。今はミラーサイトがたくさんあって、元のサイトよりもSEOランキングが良いことも多いから、かなり危険だよ。前の銀行では、何年も使っていたブラウザのアドインをインストールした同僚がいたんだけど、新しいノートパソコンを手に入れて、ブラウザも新しくしたら、同じ拡張機能を元のベンダーとは別のソースからインストールしちゃった。残念ながら、そのバージョンにはマルウェアが含まれていて、大きな取引がコンプライアンスにギリギリで引っかかったんだ。彼はデータ漏洩に気づいてなかったからね。