それは、攻撃者と防御者の間に非対称性があるため、作業の証明にはなりません。攻撃者は、防御者が見つけてパッチを当てる前に、利用可能な問題を一つ見つければいいだけです。一方、防御者は最終的にすべての問題を見つける必要があり、すべてを修正できたかどうかも確信が持てません。防御者は問題を発見するだけでなく、それを展開する必要もあります。パッチをインストールするのには時間がかかりますし、パッチが利用可能になった時点で、攻撃者はそれを使ってエクスプロイトを逆解析し、パッチが当たっていないシステムを攻撃することができます。最近では、これが数時間のうちに起こることもありますし、AIがこれを加速させる可能性もあります。また、防御者がパッチを作成しなかったり、ユーザーが経済的に見合わないためにパッチをシステムに展開しないことも十分に考えられます。安価なIoTセンサーなどは、欠陥を見つけて修正するためにコストをかける利益がないため、脆弱性が放置されることがあります。たとえ修正されても、ユーザーはパッチについて知らなかったり、時間をかけて展開する価値がないと感じるかもしれません。確かに、レビューを行い、問題を修正し、パッチを展開するリソースを持っている大規模なシステムもあります。しかし、長い間脆弱であり続けるコードの膨大なインストールベースが存在します。

ヘッドラインには完全に同意するけど、こんなに多くの人が「Mythos」に詳しいと暗黙的に主張しているのは驚きだね。Mythosはクローズドで、現在はウクライナで現実との接触に失敗した過剰評価されたアンドゥリルのドローンの状態だよ。もし誰かが神話のようなMythosにアクセスできたら、現実との接触が見えるだろうね。

いくつかの代替シナリオを考えてみたけど、どれくらい信じるべきかはわからないな。- もし特定の能力レベルに達したら、基本的にバグがない状態になるとしたら？強い意味でそうなるとはちょっと懐疑的だけど、特定の特性を正式に証明しても、セキュリティはしばしば脅威モデルに大きく依存するからね（例えば、サイドチャネル攻撃や定常時間など）。でも、実際には問題が少なくなることもあるのかな？ - もし特定の能力の閾値を超えたら、弱いモデルが強いモデルの代わりになる可能性があるとしたら、トークンを使う覚悟があればね。コーディングの例を挙げると、GPT-3は全くコードが書けなかったから、GPT 5.4でXトークンを持つ方が、GPT-3で100Xトークンを持つよりもいいと思う。でも、GPT 5.4でXトークンを持つのと、GPT 5.2で100Xトークンを持つのはどっちがいいかな？それはちょっと曖昧で、無関心曲線みたいなものがあるかもしれないね。

異なるLLMの実行は異なる分岐を取るが、最終的にはコードの可能な状態に基づく分岐が飽和する。 LLMでは、停止問題さえもプロサブスクリプションの料金を払うかどうかの問題に過ぎない！

全体的な枠組みがあまり面白くないと思う。コードをもっと調査すれば、もっと多くのバグを見つけて悪用したりパッチを当てたりできるっていうのは、そんなに目新しい観察じゃないよね。「Claudeによって」という言葉を付け加えても、実質的には何も変わらない。数人の人間に同じことをさせることだってできるし、それは何十年も前から行われてきたことだよ。

アナロジーで争うのはあんまり意味ないと思うけど、もし付き合ってくれるなら、これを聞きたいな。幅優先探索と深さ優先探索、どっちがいいと思う？正解は、検索する環境によるってことだよね。バグや脆弱性がソフトウェアの表面や内部（依存関係を悪用する）に隠れているのと同じように。結論としては、トークンがたくさんあると助かる！いいモデルがあるのも助かる。両方あればもっと助かる。賢い人間がいて、たくさんのトークンと最高のフロンティアモデルがあれば、最も効果的だよね（賢い人間が重要）。

自分で試してみて、GPT 120B OSSは安くて手に入るよ。ちなみに、このバグに関しては、選ぶモデルが強ければ強いほど（でも本当のバグを発見するには不十分）、バグがあると主張する可能性は低くなるんだと思う。これが議論の核心だね。すべての主張は、無料で利用できるモデルと、限られた顧客にしか提供されないモデル（Mythos）を比較している。ここでの問題は「より良いモデル」という表現。どう「良い」の？サイバーセキュリティに特化して訓練されてるの？単にトークンや思考の予算が大きいモデルなの？それとも、より良いハーネスやスキャフォールドなの？単により良いプロンプトなの？いくつかのモデルが他のモデルより強いのは疑わないけど（Gemini ProやClaude Opusは、より多くのパラメータや大きなコンテキストサイズを持っていて、より長く、より多くのデータで訓練されているだろうし）、正確な実験設定がわからない限り（この場合、Mythosは完全にクローズドでAPIでもアクセスできないから不可能）、すべてが曖昧な感じになる。Anthropicは自分たちの設定を明かすことは絶対にないだろうし、秘密のソースがあるかどうかに関わらず、人々の想像力を働かせる方が価値があるし、マーケティングも動くからね。Anthropicは、無料の宣伝をたくさんもらって喜んでるに違いない。

今、二つの人気記事がサイバーセキュリティをプルーフ・オブ・ワークとして見なせるかどうかで議論してる。面白いことに、サイバーセキュリティ（アクセスモデルや運用上の仮定）がプルーフシステム（プルーフ・オブ・ワークじゃない）としてモデル化できるって記事を書こうと思ってたんだ。つまり、認可の決定が導き出される一連の仮定（ポリシー、アイデンティティ、インバリアント、構成、実装制約）を持つ抽象モデルがあるってこと。モデルが安全であるためには、無許可の行動が導き出されないことが必要。システムが正しいためには、その実装がモデルの仮定に従っている必要がある。セキュリティモデルは、その仮定が実際にどれだけ成立するかで運用的に分析できるんだ。

だから、明日のサイバーセキュリティは「GPUが勝つ」みたいなプルーフ・オブ・ワークにはならない。むしろ、より良いモデルと、そのモデルへのアクセスが早いことが勝つんだよね。

AI（LLM）のプルーフ・オブ・ワークは、トレーニング側から来る「かもしれない」。このブログが探求している推論側ではなくてね。もしモデルがトレーニングされたことを証明するようなハッシュキャッシュ的な「証明」が定義されれば、そうできるはずだよ。モデルが追加データで賢くなった最小限の指標は、その追加データを正しく認識・推論できることだからね。