世界を動かす技術を、日本語で。

ダーク化と法執行機関によるハッキングの時代

概要

  • Usenix Securityでの議論を通じ、 AIがソフトウェアを過度に安全 にすることへの懸念を提示
  • 法執行機関や情報機関 が「Going Dark」状態に陥るリスクの指摘
  • AIによる 脆弱性発見の自動化 が業界構造を大きく変える可能性
  • バックドア要求 の再燃とその国際的な波及効果への警鐘
  • 明確な解決策はなく、 正しい選択 を願うしかない現状

AIによるソフトウェア過剰防御と「Going Dark」問題

  • Baltimore で開催された Usenix Security カンファレンス参加体験
  • The Wire の舞台であるBaltimoreの現実とドラマの違いを同僚に説明する日々
  • AI について語らないよう努めていたが、今回はそのルールを破る決意
  • AI がソフトウェアを「 過度に安全」にしてしまう懸念
  • その結果、 米国情報機関・法執行機関の能力喪失(Going Dark) が現実味を帯びる可能性

通信監視の歴史と暗号化の進化

  • 2000年代初頭 の電子監視は、 The Wire で描かれるような単純な盗聴が主流
  • スマートフォンテキストメッセージ の普及により、通信内容の保存と取得が容易に
  • 2010年、AppleがiPhoneストレージをユーザーパスコード由来の鍵で暗号化
  • 2011年、AppleがiPhoneメッセージにエンドツーエンド暗号化を導入
  • WhatsApp が2016年までに10億ユーザーにエンドツーエンド暗号化を提供
  • FBIなど法執行機関は 「Going Dark」問題 として認識し、Appleに協力を要求
  • Apple v. FBI事件 では、外部企業による端末ハッキングで膠着状態が解消
  • GrayKeyPegasus などのハッキングツールの普及で、法執行側の緊急性が一時的に低下

AIによる脆弱性発見の新時代

  • 2024年4月、Anthropicが Mythos という脆弱性発見に特化したAIモデルを発表
  • 米政府は一時的に輸出規制を実施するも、OpenAIや中国系ラボも同様の技術を開発
  • AIモデルによる深刻な脆弱性発見事例 が急増
  • 防御側が AIで数十年分のバグを一気に修正 し始める動き
  • CIツールチェーン 全体にAI脆弱性スキャンを組み込む潮流
  • 近い将来、 リモートから悪用可能なバグが激減 する見込み

法執行機関・情報機関への影響とバックドア要求の再燃

  • ソフトウェアの高セキュリティ化で、 法執行機関が本当の「Going Dark」状態 に突入
  • 「例外的アクセス(バックドア)」 の議論が再加熱する懸念
  • 各国政府が自国向けのバックドア実装を強く要求する可能性
  • バックドアは 要求国のみを弱体化 させ、外国勢力に新たな攻撃手段を提供するリスク
  • インフラがようやく安全になりつつあるタイミングでの 自己破壊的な選択 への警鐘

今後の展望と課題

  • 明確な 解決策や行動計画 は現時点で存在しない現実
  • AI革命 による急速な変化に社会全体が対応しきれていない現状
  • ただ「 正しい選択がなされること」を願うしかない状況
  • 専門家による議論や対策の必要性は高まる一方で、 抜本的な回避策の不在

Hackerたちの意見

アメリカ政府やイスラエルがみんなのスマホをハッキングできないことを心配しなきゃいけないの?

アメリカやイギリス、イスラエルの政府が嫌いな人たちが心配する理由は、秘密の場所に隠されてる…最初の段落でも最後の段落でもない段落に。

そうだよね?「アメリカの情報機関や法執行機関が暗黒化し、大部分の能力を失うことを心配している」と見たとき、最初の反応は「いいね」だった。

どの部分がそう感じさせたの?

彼の主張は、政府がハッキングができなくなった(仮定として)今、テクノロジー企業にバックドアをインストールさせるよう強制し始めるってことだ。

それが私の最初の考えでもあった…でも、彼らは無限のミソスを持っているのに、私たちはほとんどフェイブルしか持っていないことを忘れないで。

一方では、予算がしっかり配分された真剣なプレイヤーたちがトップの技術や頭脳を使って戦っている様子があるけど、もう一方では、セキュリティを担当している責任者が基本的な技術知識を何度も理解できず、セキュリティのベストプラクティスの「絶対にやっちゃダメ」リストのチェックボックスを全部 tick してしまって、顧客全員がやられちゃったっていうニュースが流れてる。まるで同じ場所で同時に存在する二つの平行世界みたいだけど、どういうわけか交わらないんだよね。

私は軍隊でキャリアをスタートさせて、なんとかGDQへの教育目的の旅行を資金提供してもらうことができた。で、その時にソフトウェアセキュリティについての小さなラウンドテーブルに参加したんだ。私が空軍の小さな部隊を代表していて、Googleの人と15人のゲーム開発者がいた。5年しか開発経験がなかったのに、ソフトウェアセキュリティに関する知識のなさに衝撃を受けた。簡単な概念ですらゲーム開発者には完全に馴染みがないようだったけど、Googleの人はセキュリティについてかなりしっかりした理解を持っているようだった。もちろん、ゲーム開発者やウェブ開発者、いろんな開発者がそれぞれ異なる焦点を持っているけど、あの場で私が比較的専門家と見なされるトピックがセキュリティだったのは本当に驚きだった。軍の開発者にとっては大きなプラスなのか、他の開発者にとっては大きな懸念なのか分からなかったけど、今は後者の方向で学び始めている。

K字型経済とK字型発展って何?

これが今後数年の中心的な緊張になると思う。記事では、ソフトウェアがもっと安全になることで、法執行機関がデバイスのすべてにアクセスするための「正当な」バックドアを求める声が再燃するって言ってるけど、カシュ・パテルがフィッシングにあったら、そのセキュリティは何の意味もないよね。結局、弱点はほとんどいつも人間だから。みんながハッキングし合う中で、セキュリティの欠陥が最も少ないソフトウェアシステムが政府を置き換える未来も見える。そうなったら、マトリックスみたいな、あるいはターミネーターみたいな未来になって、人類が機械のために生きることになるんじゃないかな。

これは専門家たちに洗練された計画に賛同するよう呼びかけるものではない。AI革命についての多くのことと同じように、私たちが今いる場所とは違うところに向かって長い滑り台を滑っていることに気づき始めた。へへ、長い滑り台だ。本当にそんな感じがする。

現実の世界では、役に立つバグの数に何らかの上限があるように感じるし、おそらくすぐにそれに達するだろう。これは私には響かないな。企業がAIを使って雑に書かれた機能を増やしているのを見ているし、私が使っているソフトウェアのバグは減るどころか増えてる。ソフトウェアがバグが増えている一方でセキュリティが向上している可能性はあるけど、私はその二つは逆の方向に進んでいるのではなく、同じ方向に進んでいると思う。私の予想では、AIを使って既存のセキュリティ問題を見つけるのが上手くなっているけど、その一方でより多くの脆弱な部分をより早いペースで追加しているんじゃないかな。

Hacker Newsで議論の続きを見る