ハクソク

世界を動かす技術を、日本語で。

サイバーセキュリティは今やプルーフ・オブ・ワークのように見える

25日前原文(dbreunig.com)

概要

  • Anthropicの新LLM「Mythos」がセキュリティ分野で高い性能を示す。
  • セキュリティ強化には攻撃者より多くのトークンを使う必要性。
  • OSSの重要性と攻撃対象としてのリスクが増大。
  • 開発工程に「ハードニング」フェーズが加わる可能性。
  • セキュリティコストは市場の需給で決まる構造。

セキュリティは攻撃者より多くのトークンを消費する競争か

  • AnthropicのMythos は、コンピュータセキュリティ分野で「極めて高い能力」を持つLLMとして発表。
  • 公開は限定的で、重要なソフトウェア開発者のみに提供、システム強化の猶予期間を確保。
  • AI Security Institute (AISI) によるサードパーティ分析でも、Mythosの性能を裏付ける結果。
  • 「The Last Ones」シミュレーションでは、32段階の企業ネットワーク攻撃を再現し、Mythosのみが10回中3回の完遂に成功。
  • 1回の試行あたり 1億トークン （約$12,500）を消費、10回で$125,000のコスト。
  • 100Mトークン消費でも成果の逓減は見られず、「トークンを投下し続ければ進展し続ける」傾向。
  • セキュリティ強化は「攻撃者が使うトークン以上にトークンを費やす」ことが勝敗を分ける単純な数式に。
  • これは Proof of Work 型の暗号通貨と類似、計算資源を多く投入した方が勝つロジック。
  • セキュリティは「知恵」より「資金力」の勝負に転換。

OSSとエージェントコーディングの新たな課題

  • OSS（オープンソースソフトウェア） の重要性が一層高まる一方、攻撃対象としての価値も上昇。
  • OSSライブラリを利用する企業が十分なトークンを投入すれば、個別実装より安全性が高まる可能性。
  • ただし、OSSは利用者が多く、攻撃者も高いリターンを求めて多くのトークンを投下しやすい。
  • 依存パッケージの再実装 や、LLMによる簡易機能の「yoink」手法への再評価も進行。
  • Linusの法則「十分な目があればバグは浅い」も「十分なトークンがあればバグは浅い」に拡張。

ソフトウェア開発プロセスの変化

  • 開発工程 が「開発」「レビュー」に加え「ハードニング（脆弱性検出）」の三段階に進化。
    • 開発：人間の直感やユーザーフィードバックで機能実装・反復
    • レビュー：ドキュメント整理やリファクタリング、ベストプラクティス適用
    • ハードニング：予算が尽きるまで自動で脆弱性探索
  • 最初のフェーズは人間のリソースが制約、最後は資金力が制約となる性質。
  • 以前はセキュリティ監査が「稀で一過性」だったが、今後は「常時・最適予算内で」実施可能に。
  • コード自体は安価だが、 安全性確保には高コスト が発生。
  • モデルの最適化でコスト低減が進んでも、「成果の逓減点」に達しない限り、攻撃者以上にトークンを消費する必要がある。
  • 脆弱性の市場価値 が、セキュリティコストの上限を決定。

Hackerたちの意見

トニー・ホアの名言: 「ソフトウェア設計には二つのアプローチがある。明らかに欠陥がないほどシンプルにするか、明らかに欠陥がないほど複雑にするか。」

└

これめっちゃ関係あると思うし、投稿してくれてありがとう！もちろん、システムをコンパクトでクリーンにするだけで全ての脆弱性に対抗できるわけじゃないけど、攻撃されやすい部分には大きな影響を与えられるよね。すべてのコードベースが壊れてるって暗黙の前提があるのがちょっと奇妙だと思う。十分に攻撃すれば、無限に問題が見つかるっていう。別の例えで言うと、ファジングみたいなもんだね。ファジングツールはプログラムのいろんな状態を試すけど、パスワードにぶつかると、それ以上進めなくなる。だって、探さなきゃいけない範囲が途方もなく広いから。プログラムを攻撃しようとするのはいいけど、例えばそのプログラムが「何かをする前に、ネットワークからのメッセージは必ず署名されている必要がある」ってしっかり言ってたら、署名なしのメッセージを受け入れるのは難しいよね。確かに、今のソフトウェアや表面は、昔はもっと手抜きが許されてた時代に作られたものが多いけど、今後はもっと意図的に受け入れるものを考える世界になるんじゃないかな。ネットワークからエンドポイントセキュリティへのシフトみたいにね。今、必要以上に大きな脅威モデルを持ってるシステムが山ほどあると思うよ。

これはプルーフ・オブ・ワークのように見える理由は: > 「心配なことに、100Mの予算を持つモデルの中で、収益の減少の兆候を示したものはなかった。」AISIは「モデルは、テストされたトークン予算が増えるにつれて進展を続けている」と指摘している。だから、著者はトークンの支出と攻撃の成功の間に持続的な直接的相関関係があると推測している。つまり、あなたは攻撃者よりも多くのトークンを使って、自分の脆弱性を見つける必要がある。しかし、この研究は32ステップのネットワーク侵入に関するもので、実際に完了できたモデルは1つ（Mythos）だけだった。それは非常に複雑なタスクだ。Mythosを比較的シンプルな単一のコードライブラリに向けた場合も同じことが言えるのだろうか？私の直感では、シンプルなタスクの方が収益の減少のポイントに近いと思う。この世界では、人気のあるオープンソースプロジェクトは、守る側と攻撃する側の両方から、より多くのトークン支出が見込まれるだろう。そして、彼らは収益の減少のポイントにより早く近づくかもしれない。もしそんなものがあるなら。

└

サイバーセキュリティについて何も知らないけど、32ステップから33ステップに進むのにトークンがどれくらいかかるか、または33ステップ目を完了するのにどれくらいかかるかが問題かも。もしステップを追加する方が安いなら、防御が無関係でも攻撃が関連するようになると、記事が言ってるほど悪くはないかも。例えば、どのステップでも失敗するとロックアウトされるなら、成功する確率はp^Nになるから、十分なレイヤーがあれば実質不可能ってことになる。

└

32ステップのネットワーク乗っ取りはすごいけど、Mythosが毎回成功したわけじゃないし、ネットワーク自体も普通の防御システムを持ってなかったんだよね。でも、だからってAIを軽視する理由にはならないと思う。たとえこのモデルが君の防御を突破できなくても、3ヶ月待って次のモデルがどうなるか見てみて。

これについては以前のコメントで詳しく話したけど、この記事はカテゴリエラーを犯していると思う。商業的な環境では、日常の情報セキュリティの仕事（または支出）は、コードの脆弱性を探すこととはほとんど関係がない。実際、コードベースのすべてのセキュリティホールを見つけて修正できるという考えに基づいたセキュリティプログラムは、LLMが登場するずっと前から基本的に破綻していた。

└

商業的な情報セキュリティでは、開発用のマシンからFirefoxを削除してるんだ。安全じゃないからね。それに、一般の人にコードリポジトリに秘密の情報をコミットしない理由を説明するのも大変。もちろん、家のルーターへのSSHアクセスもブロックされてるし。

コードベースへのアクセスの問題もまだ残っている。あらゆる情報によれば、最良のLLMサイバースキャンのアプローチは本当に原始的で、単にコードベース内のすべてのファイルを通過して、各ファイルに対して「ここに脆弱性を見つけて」というプロンプトを実行するだけだ。攻撃者は通常、これよりもさらにアクセスが少ない - 最初はネットワークツール、文書化されていないAPI、そしておそらくいくつかのバイナリしか持っていない。ソースをエンドツーエンドで制御すれば、効率的にもっと良いことができる - あなたはすでに論理的に関連する変更をPRにまとめているので、LLMに変更したファイルだけを見てもらうように頼むことでスキャンを節約できる。セキュリティに関連するコードに触れているなら、攻撃者が自分のスキャンにかける以上の努力をファイルごとに求めることができる。攻撃者が固定スケジュールで行う大規模なスキャンもできる - 各攻撃者は自分のスキャンを実行する必要があるが、あなたは彼らが見つけるはずのすべてを見つけるために自分のスキャンを1回実行するだけで済む。「ハードニング」フェーズと「エクスプロイトを発見する」フェーズの間には、巨額のコストの非対称性がある。エクスプロイト可能性もバイナリではない。たとえ攻撃者があなたよりもリソースが豊富でも、彼らはあなたのシステム内の一連のエクスプロイトを見つける必要があるが、あなたはそのチェーンの最も弱いリンクを壊すだけで済む。セキュリティを単に誰がより多くのトークンを燃やせるかの競争に還元すると、守る側は、リソースが最も豊富な攻撃者だけが克服できる効率的な利点を得る。全体として、ミソス級モデルへの公的アクセスは、ソフトウェアをより安全にするだろう。

└

トークンはデコンパイルにも使える。

└

でも問題なのは、これが「うちの開発者がサプライチェーン攻撃を受けたけど、プロダクションには影響がなかった。コンピュータを消去して鍵を回したし、攻撃者が持ち出したものを利用するには大きなターゲットじゃないから…」っていうのが、「今や私たちの全ソースコードが持ち出されて、基本的なラインごとのスキャンでも、数時間以内に権限昇格の機会を自動的に監査される」っていう状況に変わること。極端に言えば、最終的にはダークフォレストになる。これが起業家精神にとってどういう意味を持つのか、あまり好きじゃないな。

└

最近の「Security Cryptography Whatever」のエピソードで、ハーネスの改善にかける時間が「次のモデルを待つ」戦略に負けてるって言ってた。これが続くとは思えないけど、改善の仕方についての直感が崩れたよね。[0] https://securitycryptographywhatever.com/2026/03/25/ai-bug-f...

└

オープンソースソフトウェアについてはどう思う？

セキュリティは常に、敵がどれだけの金を投入する意志があるかのゲームだった。これらの記事で導き出された結論は、すでに理解されているシステム設計の概念に過ぎないが、なぜか人々はそれが新しいものであるかのように振る舞ったり、LLMが価格以外の何かを変えたかのように感じている。たとえばこの記事から: > カーパシー: 古典的なソフトウェア工学は、依存関係が良いものだと信じさせる（私たちはレンガからピラミッドを作っている）が、私の考えでは、再評価する必要があり、だからこそ私はそれに対してますます嫌悪感を抱いている。シンプルで可能な場合は、LLMを使って機能を「引き抜く」ことを好む。 「leftpad」やGoプログラマーを知っている人なら、これを知っているだろう（「少しのコピーは少しの依存関係よりも良い」というのは文字通り「Goの格言」だ）。最近のHNの投稿の中には、セキュリティのためにコードをクローズソースにした会社があったが、「不明瞭性によるセキュリティ」はオープンソースの世界で数十年にわたって理解されている誤謬だ。

記事は「AIセキュリティ研究所」を第三者の分析として大いに引用している。私は彼らのことを初めて聞いたので、彼らの紹介ページを調べてみたが、主にAI業界の人々（元Deepmind/OpenAIのスタッフなど）で構成されていて、セキュリティ業界の人々は一切言及されていないようだ。だから、セキュリティの状況が明らかに進化している一方で（Big SleepやProject Zeroも参照）、 「システムをハードニングするためにはより多くのトークンを使う必要がある」という結論は、別の角度からのAIの後押しのように聞こえる。なぜ他の選択肢（形式的検証など）がこの記事やAISIの報告書に言及されていないのかという疑問が生じる。NVIDIAがこの話題を取り上げて、より多くのGPUを売るために使ったとしても驚きはしない。

└

この議論の反対側を取る著名なセキュリティ研究者が誰かに興味がある。私は「AIセキュリティ研究所」について何も知らないが、彼らが言っていることはセキュリティ研究者によって広く反映されている。私が見る限り、実際の実務者コミュニティの「議論」は、フロンティアモデルがファジングと同じくらい重要なのか、それとももっと大きなものなのかということだ。ファジングは脆弱性研究における大きな変化だった。（ちなみに、あなたの文章のファンです。）

└

「人工知能」の「S」は「セキュリティ」を意味する！

└

UK AISIはイギリス政府の一部なんだ。彼らは善意でやってると思うし、政府に関連するAI安全組織の中では一番の例だと思う。彼らの主な役割は能力評価の基準を設定することで、これをうまくやってるよ。ただ、彼らの権限は結構広いから、ソフトウェアセキュリティのロードマップを期待するのは難しいかも。以前、彼らの評価についてフィードバックをしたことがあるけど（ある評価が能力を十分に引き出してなかったと思った）、反応は良かったよ。

システムを強化するには、攻撃者がそれを悪用するために使うトークンよりも、脆弱性を発見するために多くのトークンを使う必要がある。NFLのフロントオフィスのために、フロントエンドからTicketmasterを完全に自動化するAPIを公開するスクリプトを作ったんだ。NFLがすべての二次市場にチケットを投稿できるようにして、日曜日に雨が降る予想ならチケットの価格を下げられるようにね。TicketmasterはAPIの開発が遅れてた。法的な理由でAPIを開発する前に許可をくれなかったけど、私を止めるために最善を尽くすって言われた。彼らはPerimeterXに切り替えたけど、これを突破するのに3日かかった。先週、ここにChatGPTがCloudflare Turnstileを使ってるっていう記事が投稿されてた。[0] まず、その記事は動作についていくつか間違いがあった。次に、私は[AI会社の製品]とChrome DevTools Protocol（CDP）を使って、評価される前にすべてのスクリプトを完全に書き換えた。これが、PerimeterXを3日で理解できた方法と同じ。指紋を制御するために再帰的に解決して、プロファイルを制御するようにした。その後、ChatGPTを無料で公開するAPIプロキシを作った。技術についての指導が必要だったけど、ほとんどの作業は3時間で終わった。これらの企業はこれらの製品に数千万ドルを費やしてるけど、OpenAIがセキュリティについて自慢してることを考えると、全く無価値だね。[0] https://news.ycombinator.com/item?id=47566865

信頼できるソフトウェアはめっちゃ高くなるから、スタートアップがインフラを作るのは厳しくなると思う。彼らが何百万ドルもかけてソフトウェアを強化したって証明できない限りね。ソフトウェアエコシステムは二つの方向で変わると予測してる。ファイアウォールの内側のソフトウェアはどんどん安くなるけど、外部に向けたものはハッキングの懸念から指数関数的に高くなるだろうね。

└

ハッキングの懸念はファイアウォールの内側でも外側でも同じくらい重要だよ。

もしかしたら見落としてるかもしれないけど、完璧に安全である必要はなくて、侵入する価値がないくらいの安全性があればいいって考え方もあるよね。悪党（スパイじゃなくて）に関しては、セキュリティは同業者と同じくらい良くないといけないことが多い。なぜなら、悪党は最も効率の良い利益/労力比を求めて時間を使うから。

└

なんで一つのウェブサイトをハッキングするの？全部ハッキングできるのに。資金が潤沢な（特に国家の）攻撃者にとって、1ドルの計算と努力で2ドルの身代金が得られるなら、他のn x 1ドルの計算にアクセスできる可能性があるし、収益の減少やキャッシュフローの制限に当たらなければ、なんでお金を使い続けて全システムを掌握しないの？クマが一匹だけなら、友達より早く走ればいいけど、群れがいるならもっと厳しくトレーニングしないとね！

OSSライブラリに依存する企業がトークンでそれを守るためにお金を使うなら、予算が許すよりも安全になる可能性が高い。これは本当に大きな「もし」だよね。特に、多くの企業が自分たちが使っているOSSをすら把握していないし、OSSを使って自分たちでメンテナンスするコストをオフロードしていることが多いから。私の希望は、落ち着いたときに、脆弱性を検出するのがもっと得意なOSS SASTツールが増えること。そして、修正案を提案してくれるとさらにいいね。OSS開発者は、企業ネットワーク全体での20ポイントの連鎖攻撃なんて気にしないで、自分のアプリを守りたいだけなんだ。そのアプリが強化されていれば、攻撃者が突破できない連鎖の一つになるかもしれないね。