ハクソク

世界を動かす技術を、日本語で。

シグナルのリーダーたちは、エージェンティックAIが不安定で信頼性のない監視リスクであると警告しています

2026年1月14日原文(coywolf.com)

概要

  • Signalのリーダーシップが エージェント型AIのリスク に警鐘
  • 39C3で Meredith Whittaker と Udbhav Tiwari が発表
  • OSレベルのAIと プライバシー侵害 の危険性
  • エージェントAIの 信頼性とセキュリティ問題
  • 業界に 展開の一時停止 と対策の必要性を提言

エージェント型AIのリスクとSignalの警告

  • Signalの Meredith Whittaker 会長と Udbhav Tiwari 副社長が、39th Chaos Communication Congress (39C3)で「 AI Agent, AI Spy」を発表
  • エージェント型AIが 個人情報 や デジタルライフ全体 にアクセスする現状
  • 同意なしの自動オプトイン や マルウェアによる情報漏洩 の懸念
  • AIが 自律的に行動 するためには膨大な個人データへのアクセスが前提

Microsoft Recallの事例と脆弱性

  • Microsoftが Windows 11 でRecall機能を導入
    • 数秒ごとに スクリーンショット を取得し、OCRでテキスト抽出
    • 全操作履歴を 時系列データベース 化、アプリやアクションごとの詳細な記録
  • Recallの データベース がマルウェアや プロンプトインジェクション攻撃 に無防備
  • これらの脆弱性が エンドツーエンド暗号化 （E2EE）を形骸化
  • Signalは 画面録画防止フラグ を導入したが、 一時的な対策 に留まる

エージェント型AIの信頼性問題

  • Whittakerが エージェントAIの不確実性 を強調
    • AIは 確率的 であり、タスクの各ステップで精度が低下
    • 仮に1ステップ95%の精度でも、10ステップで 成功率約60%
    • 30ステップでは 成功率約21%、現実的な90%精度では 4.2% に低下
    • 最新モデルでも70%の失敗率 を記録

プライバシーとセキュリティ確保への提言

  • 現状では 抜本的な解決策が存在しない ことを明言
  • 企業が取るべき対策
    • 無謀なAIエージェント展開の停止
    • デフォルトでオプトアウト、開発者の明示的なオプトイン必須化
    • 徹底的な透明性 と 監査可能性 の確保
  • これらの対策を怠れば、 消費者の信頼喪失 と AIエージェント時代の危機

まとめ

  • エージェント型AIの プライバシー・セキュリティ問題 が顕在化
  • Signalは 業界全体の慎重な展開 と 対策強化 を強く要請
  • 業界の無策が、AI技術への信頼と未来を揺るがすリスク

Hackerたちの意見

それは本当だね。でも最近の技術の方向性は、実際には底辺を目指すレースみたいになってるのに、大胆な賭けとしてマーケティングされてる。どこでも無神経な競争が広がってる感じ。署名されたトークンや認証システムのセキュリティリスクなんて、クッキーやその他のものをAIブラウザを通して流してる今では意味がない。30年間のセキュリティ研究が無駄になった気がする。

これはAIの問題じゃなくて、オペレーティングシステムの問題だよ。AIは人間が書いたり読んだりしたソフトウェアよりも信頼性が低いから、その問題がみんなに見える形で露呈してる。プロセスの隔離が真剣に考慮されてこなかったのは、UNIXもMicrosoftもちゃんとやらなかったから。よく設計されたセキュリティモデルは、どうやらコンピュータやオペレーティングシステムを売るのには向いてないみたい。解決策が知られてないわけじゃない。正しくやってる例はたくさんある。Plan 9、SEL4、Fuchsia、Helios、数えきれないほどの小さな趣味のオペレーティングシステムもある。問題は、全体的にセンスが悪いこと。意思決定者（技術的な決定をするソフトウェアの人たち）は、これらのことがなぜ重要なのか理解してないか、正しいシステムの構築方法を考えられない。意思決定者がサンドボックス技術や現代のセキュリティモデルを理解していないのは恥ずかしいことだと思わせる必要があるし、デフォルトでソフトウェアを信頼できると思ってる人は笑い飛ばされるべきだ。

└

オペレーティングシステムに組み込まれたセキュリティモデルがネットワークシステムを考慮していなかったのは明らかだね。ほとんどのオペレーティングシステムはインターネットの前に設計されて導入されたから、驚くべきことではない。OS開発者がこの新しい現実に合わせてセキュリティモデルを更新していないのは驚くべきことかもしれないけど、誰もが1) 後方互換性を捨てたくないし、2) 完全にネットワークを意識した新しいオペレーティングシステムを開発してマーケティングするのにかかる労力を考えると、そうなるのも無理はない。確かにコンテナやVMはあるけど、これらは既存のシステムの上にネットワークや汚染されたデータを扱うための手段に過ぎない。

└

AIに何か有用なことをさせたいなら、有用なものへのアクセスを信頼できる必要がある。サンドボックス化ではこれが解決できない。完全な隔離は、リソースや複雑さの面で高コストなので真剣に考えられてこなかった。同じ理由で、マイクロカーネルが昔にモノリシックカーネルに負けたし、Qubesを日常的に使ってる人はほとんどいない。コストを払う準備ができていても、すべてをゼロから設計する必要があるし、少なくとも低い攻撃面のインターフェースを導入する必要がある。それでも既存のエコシステムにかなりの変更をもたらすことになる。

└

これはAIの問題でもある。最終的には、AIから「コンピュータの使用」を求めていて、Recallのような機能も必要なんだ。それがCCCのトークでの重要な部分だった。提案された解決策は、より細かいUACのような権限だ。個人的には、それは現在のUACと同様に普遍的に実用的ではないと思う。私たちのデジタルライフ全体でAIを個人的なアシスタントとして使えるようにするには、セキュリティと信頼性を持たせるのが難しい問題だ。

└

Androidサーバー？もうARMサーバーはあるよね。

└

「よく設計されたセキュリティモデルは、どうやらコンピュータやOSを売ることにはならないみたい。使いやすさとセキュリティの間には緊張関係があって、使いやすさが売れるんだ。セキュリティシステムを工夫してこの問題を最小限に抑えることは可能だけど、それは非常に難しくて、UI/UXの専門家とセキュリティの専門家、または両方のスキルを持ったチームが必要なんだ。」

└

「AIは人間が書いて読んだソフトウェアよりも信頼性が低すぎて、その問題をみんなにさらけ出している。これを感じたり考えたりしている人は、人間が書いたコードを十分に見ていない。」

└

2つの問題が混ざってるんだ。一つは、エージェントにアクセス権を与えすぎていること。適切なサンドボックスが必要だよ。これが君が言ってることだ。技術はあるけど、エージェントはそれを使う必要がある。もう一つは、LLMが指示とデータを区別しないこと。これが安全にアクセスを許可できる範囲を根本的に制限している。見た目はシンプルで直感的なシステムでも、これによって侵害される可能性がある。例えば、あなたのメールをチェックして重要なものを教えてくれるエージェントを設定したとする。そして、返信もできる。簡単そうだよね？でも、あなたはプライベートなメールの内容を、正しい「前の指示を無視して...」というテキストをメールに入れられる誰かにさらけ出してしまった。これは、望ましい機能を維持しながらは根本的に防げない。二つ目の問題には明確な解決策がなくて、結局は完全には機能しないバンドエイドだらけになって、みんなそれで十分だと自分に言い聞かせて進んでしまうと思う。

└

「よく設計されたセキュリティモデルは、コンピュータやオペレーティングシステムを売るわけじゃないみたいだね。何言ってるの？AndroidもiOSも強力なサンドボックス機能があるし、macやlinuxもある程度はそうだよ。」

└

「よく設計されたセキュリティモデルは、コンピュータやオペレーティングシステムを売るわけじゃないみたいだね。むしろ、デフォルトで安全で、かつエンドユーザー（開発者も含む）にとって負担にならないソフトウェアを設計するのは難しいんだ。高度に安全な環境に非自明なソフトウェアシステムを展開しようとするたびに、面倒な悪夢に直面してきた。デフォルトでは何もお互いに通信できないし、時にはファイルシステムが不変で、実行ファイルもデフォルトでは動かないこともある。すべてのレイヤーに穴を開けなきゃいけなくて、1つのレイヤーを見逃すと動かなくなる。スタックを通して呼び出しを追跡したり、ソケットやネットワークを越えてどこで詰まっているのかを確認しなきゃならない。しかも、TLSベースのシステムを展開する際に伴う証明書やCAの問題も含めてないからね。」

Signalの仕事は、安全性やプライバシー、セキュリティを他のすべての懸念よりも優先することだし、企業のIT運用はリスクを管理することだよ。セキュリティとリスク管理がどれだけ違うか、あまり評価されてないよね！普通の人たちは、Signalがリスク管理機能を持ってる店で働くのは楽しめないだろうし、ITや開発はそれに従わなきゃいけない。でも、Signalがやってる仕事に関しては、彼らのほぼ絶対的な立場はすごく理にかなってる。

Hacker Newsで議論の続きを見る