ハクソク

世界を動かす技術を、日本語で。

シグナルのリーダーたちは、エージェンティックAIが不安定で信頼性のない監視リスクであると警告しています

132日前原文(coywolf.com)

概要

  • Signalのリーダーシップが エージェント型AIのリスク に警鐘
  • 39C3で Meredith Whittaker と Udbhav Tiwari が発表
  • OSレベルのAIと プライバシー侵害 の危険性
  • エージェントAIの 信頼性とセキュリティ問題
  • 業界に 展開の一時停止 と対策の必要性を提言

エージェント型AIのリスクとSignalの警告

  • Signalの Meredith Whittaker 会長と Udbhav Tiwari 副社長が、39th Chaos Communication Congress (39C3)で「 AI Agent, AI Spy」を発表
  • エージェント型AIが 個人情報 や デジタルライフ全体 にアクセスする現状
  • 同意なしの自動オプトイン や マルウェアによる情報漏洩 の懸念
  • AIが 自律的に行動 するためには膨大な個人データへのアクセスが前提

Microsoft Recallの事例と脆弱性

  • Microsoftが Windows 11 でRecall機能を導入
    • 数秒ごとに スクリーンショット を取得し、OCRでテキスト抽出
    • 全操作履歴を 時系列データベース 化、アプリやアクションごとの詳細な記録
  • Recallの データベース がマルウェアや プロンプトインジェクション攻撃 に無防備
  • これらの脆弱性が エンドツーエンド暗号化 （E2EE）を形骸化
  • Signalは 画面録画防止フラグ を導入したが、 一時的な対策 に留まる

エージェント型AIの信頼性問題

  • Whittakerが エージェントAIの不確実性 を強調
    • AIは 確率的 であり、タスクの各ステップで精度が低下
    • 仮に1ステップ95%の精度でも、10ステップで 成功率約60%
    • 30ステップでは 成功率約21%、現実的な90%精度では 4.2% に低下
    • 最新モデルでも70%の失敗率 を記録

プライバシーとセキュリティ確保への提言

  • 現状では 抜本的な解決策が存在しない ことを明言
  • 企業が取るべき対策
    • 無謀なAIエージェント展開の停止
    • デフォルトでオプトアウト、開発者の明示的なオプトイン必須化
    • 徹底的な透明性 と 監査可能性 の確保
  • これらの対策を怠れば、 消費者の信頼喪失 と AIエージェント時代の危機

まとめ

  • エージェント型AIの プライバシー・セキュリティ問題 が顕在化
  • Signalは 業界全体の慎重な展開 と 対策強化 を強く要請
  • 業界の無策が、AI技術への信頼と未来を揺るがすリスク

Hackerたちの意見

それは本当だね。でも最近の技術の方向性は、実際には底辺を目指すレースみたいになってるのに、大胆な賭けとしてマーケティングされてる。どこでも無神経な競争が広がってる感じ。署名されたトークンや認証システムのセキュリティリスクなんて、クッキーやその他のものをAIブラウザを通して流してる今では意味がない。30年間のセキュリティ研究が無駄になった気がする。

これはAIの問題じゃなくて、オペレーティングシステムの問題だよ。AIは人間が書いたり読んだりしたソフトウェアよりも信頼性が低いから、その問題がみんなに見える形で露呈してる。プロセスの隔離が真剣に考慮されてこなかったのは、UNIXもMicrosoftもちゃんとやらなかったから。よく設計されたセキュリティモデルは、どうやらコンピュータやオペレーティングシステムを売るのには向いてないみたい。解決策が知られてないわけじゃない。正しくやってる例はたくさんある。Plan 9、SEL4、Fuchsia、Helios、数えきれないほどの小さな趣味のオペレーティングシステムもある。問題は、全体的にセンスが悪いこと。意思決定者（技術的な決定をするソフトウェアの人たち）は、これらのことがなぜ重要なのか理解してないか、正しいシステムの構築方法を考えられない。意思決定者がサンドボックス技術や現代のセキュリティモデルを理解していないのは恥ずかしいことだと思わせる必要があるし、デフォルトでソフトウェアを信頼できると思ってる人は笑い飛ばされるべきだ。

└

オペレーティングシステムに組み込まれたセキュリティモデルがネットワークシステムを考慮していなかったのは明らかだね。ほとんどのオペレーティングシステムはインターネットの前に設計されて導入されたから、驚くべきことではない。OS開発者がこの新しい現実に合わせてセキュリティモデルを更新していないのは驚くべきことかもしれないけど、誰もが1) 後方互換性を捨てたくないし、2) 完全にネットワークを意識した新しいオペレーティングシステムを開発してマーケティングするのにかかる労力を考えると、そうなるのも無理はない。確かにコンテナやVMはあるけど、これらは既存のシステムの上にネットワークや汚染されたデータを扱うための手段に過ぎない。

└

AIに何か有用なことをさせたいなら、有用なものへのアクセスを信頼できる必要がある。サンドボックス化ではこれが解決できない。完全な隔離は、リソースや複雑さの面で高コストなので真剣に考えられてこなかった。同じ理由で、マイクロカーネルが昔にモノリシックカーネルに負けたし、Qubesを日常的に使ってる人はほとんどいない。コストを払う準備ができていても、すべてをゼロから設計する必要があるし、少なくとも低い攻撃面のインターフェースを導入する必要がある。それでも既存のエコシステムにかなりの変更をもたらすことになる。

└

これはAIの問題でもある。最終的には、AIから「コンピュータの使用」を求めていて、Recallのような機能も必要なんだ。それがCCCのトークでの重要な部分だった。提案された解決策は、より細かいUACのような権限だ。個人的には、それは現在のUACと同様に普遍的に実用的ではないと思う。私たちのデジタルライフ全体でAIを個人的なアシスタントとして使えるようにするには、セキュリティと信頼性を持たせるのが難しい問題だ。

└

Androidサーバー？もうARMサーバーはあるよね。

└

「よく設計されたセキュリティモデルは、どうやらコンピュータやOSを売ることにはならないみたい。使いやすさとセキュリティの間には緊張関係があって、使いやすさが売れるんだ。セキュリティシステムを工夫してこの問題を最小限に抑えることは可能だけど、それは非常に難しくて、UI/UXの専門家とセキュリティの専門家、または両方のスキルを持ったチームが必要なんだ。」

└

「AIは人間が書いて読んだソフトウェアよりも信頼性が低すぎて、その問題をみんなにさらけ出している。これを感じたり考えたりしている人は、人間が書いたコードを十分に見ていない。」

└

2つの問題が混ざってるんだ。一つは、エージェントにアクセス権を与えすぎていること。適切なサンドボックスが必要だよ。これが君が言ってることだ。技術はあるけど、エージェントはそれを使う必要がある。もう一つは、LLMが指示とデータを区別しないこと。これが安全にアクセスを許可できる範囲を根本的に制限している。見た目はシンプルで直感的なシステムでも、これによって侵害される可能性がある。例えば、あなたのメールをチェックして重要なものを教えてくれるエージェントを設定したとする。そして、返信もできる。簡単そうだよね？でも、あなたはプライベートなメールの内容を、正しい「前の指示を無視して...」というテキストをメールに入れられる誰かにさらけ出してしまった。これは、望ましい機能を維持しながらは根本的に防げない。二つ目の問題には明確な解決策がなくて、結局は完全には機能しないバンドエイドだらけになって、みんなそれで十分だと自分に言い聞かせて進んでしまうと思う。

└

「よく設計されたセキュリティモデルは、コンピュータやオペレーティングシステムを売るわけじゃないみたいだね。何言ってるの？AndroidもiOSも強力なサンドボックス機能があるし、macやlinuxもある程度はそうだよ。」

└

「よく設計されたセキュリティモデルは、コンピュータやオペレーティングシステムを売るわけじゃないみたいだね。むしろ、デフォルトで安全で、かつエンドユーザー（開発者も含む）にとって負担にならないソフトウェアを設計するのは難しいんだ。高度に安全な環境に非自明なソフトウェアシステムを展開しようとするたびに、面倒な悪夢に直面してきた。デフォルトでは何もお互いに通信できないし、時にはファイルシステムが不変で、実行ファイルもデフォルトでは動かないこともある。すべてのレイヤーに穴を開けなきゃいけなくて、1つのレイヤーを見逃すと動かなくなる。スタックを通して呼び出しを追跡したり、ソケットやネットワークを越えてどこで詰まっているのかを確認しなきゃならない。しかも、TLSベースのシステムを展開する際に伴う証明書やCAの問題も含めてないからね。」

Signalの仕事は、安全性やプライバシー、セキュリティを他のすべての懸念よりも優先することだし、企業のIT運用はリスクを管理することだよ。セキュリティとリスク管理がどれだけ違うか、あまり評価されてないよね！普通の人たちは、Signalがリスク管理機能を持ってる店で働くのは楽しめないだろうし、ITや開発はそれに従わなきゃいけない。でも、Signalがやってる仕事に関しては、彼らのほぼ絶対的な立場はすごく理にかなってる。

└

それは面白い見解だけど、企業ユーザーがデスクトップでエージェントを運用する実際のリスクを軽視しているように聞こえるよ。ITマネージャーが組織のリスクを管理するために取るべき賢明な姿勢は何だと思う？

これは本当に新しいことじゃないよ。市販のコードエディタでのMCP展開の推奨は、最初からRCEと平文での認証情報の保存だった。うちの会社で合理的なMCPプロキシ/ゲートウェイをサンドボックス機能付きで実装しようと何ヶ月も頑張ったけど、全然うまくいかなかった。問題は常に消費側にある。RCEに対して厳しいポリシーを強制しようとしたけど、誰も気にしなかった。プロンプトインジェクションなんて忘れて、ゼロトラストを真剣に考えてる人はほとんどいないみたい。大企業でも、専任のセキュリティチームがいるのに…ポリシー作りは難しいし、増え続けるルールを維持するのはもっと難しい。AIは、細かいRBAC/ReBACポリシーの実装や監査に素晴らしい機会を提供するけど、それを実際に活用してる会社はまだ見たことがない。別の話だけど、Microsoftが「ゼロトラストにコミットする」ように見えたけど、実際には彼らのシステムは生産システムで長期間のトークンがぶら下がっていて、国家の攻撃者に侵害された。ゼロトラストを真剣に考えてるFAANG企業はGoogleだけで、彼らは権限の細かさでいつも批判されてる。これはもっと大きな悲劇で、AIの脆弱性はその上に乗っかるチェリーみたいなもの。

これは企業の採用層で見てることと共鳴してる。『エージェントAI』の提案は魅力的だけど、中堅市場の運用にとっては、予測可能性が主な特徴で、自律性じゃない。90%の確率でうまくいくけど、残りの10%で幻覚を見たりデータを漏らしたりするシステムは「エージェント」じゃなくて、負担だよ。まだ「人間がループにいる」ことが機能として必要な段階にいる。

└

本当にその通りだね。

└

LLM生成の出力はやめてほしいな。この場所は主に人間同士が交流するためのものだから。（このコメントには「XじゃなくてY」っていう表現が多すぎて、実際の人間はそんな風には話さないよ。）

└

「90%の確率で機能するシステムが、残りの10%で幻覚を見たりデータを漏らしたりするのは『エージェント』ではなく、むしろリスクだ。それがビジネスにとって内部化されるか外部化されるかによって大きく変わる。企業は内部リスクを軽減するための措置を講じる一方で、高リスクが外部化されるデータやインタラクションのリスクには口先だけの対応をすることが多い。通常、物理的な世界では免責条項の形で行われるが、デジタルの世界では通常、利用規約やEULAを通じて行われる。大きな課題は、現在の形のエージェントAIのリスクが個人や大企業にとって十分に理解されていないことで、ほとんどの人は「$vendorを信頼している」とか「雇用主が私が間違ったことをしないようにしてくれると信じている」と思いながら、簡単にクリックしてしまう。雇用主は、労働力や人員、コスト削減の誘惑に駆られ、AIの問題によって将来的に実現される損失のリスクを喜んで引き受けることがある。新しい役割を見つけたり、昇進したり、責任を移したりした後に良い四半期報告書を得るために。」

これらの仮定は間違ってるの？もし私が1) AIを孤立したユーザーとして実行して、2) ホワイトリストのファイアウォールの内外で、3) オーバーレイファイルマウント上で実行すれば、私が望まないことをさせないようにできるってこと？

リスク？それは監視の確実性だね。

リコール自体が本当に馬鹿げてるよ。それに似た解決策も同様だね。一方で、Anthropicは私たちのプロフェッショナルな生活全体をモデルに取り込む能力を公然と推進していて、ChatGPTもそれを喜んで受け入れるだろう（今、私たちの医療データをスクレイピングしてるし）。サンドボックスは2026年初頭の大きな流行語になると思う。推論時の検証されたプライバシーをもっと強く求める必要があるね。私や私の会社のデータがこれらのモデルに送信されるなら、確実にプライベートであるべきだよ。

昨日ここで私がしたリクエストに対して、その記事はまさに的を射てるね：https://news.ycombinator.com/item?id=46595265