世界を動かす技術を、日本語で。

マイクロソフト、バグが「Copilot」に機密メールを要約させる原因と発表

概要

Microsoft 365 Copilotのバグにより、機密メールが誤って要約される問題が発生。 DLPポリシーが無効化され、機密ラベル付きメールもAI要約対象に。 2024年1月下旬から発生し、2月初旬から修正対応が進行中。 影響範囲や最終的な修正完了時期は未公開。 Microsoftは影響ユーザーへの個別対応と監視を継続中。

Microsoft 365 Copilotのバグによる機密メール要約問題

  • Microsoft 365 Copilot のバグによる機密メールの要約問題
  • DLP(データ損失防止)ポリシー をバイパスし、機密情報保護が無効化される事象
  • バグは CW1226324 として追跡、2024年1月21日に初検知
  • Copilotの「 work tab」チャット機能が、 Sent ItemsDrafts フォルダ内のメールを誤って要約
  • 機密ラベル(confidentiality label)付きメールもAIによる要約対象となる問題
  • Copilot Chat はMicrosoft 365のAIチャット機能、Word・Excel・PowerPoint・Outlook・OneNoteに展開
  • 2025年9月からMicrosoft 365ビジネスユーザー向けに順次提供開始

Microsoftの対応状況と影響範囲

  • Microsoftは コードエラー が原因と発表
  • 2024年2月初旬より 修正プログラムの展開 を開始
  • 修正状況を 継続監視、一部影響ユーザーに個別連絡・検証を実施
  • 修正完了までの 最終スケジュールは未定
  • 影響ユーザー・組織数は非公開、調査進捗により範囲が変動する可能性
  • 本インシデントは「 advisory」として分類、影響範囲は限定的と想定

ITインフラの将来と自動化の重要性

  • 現代の ITインフラ は手動ワークフローでは対応困難な速度で進化
  • Tines guide で、手動作業の遅延削減や自動レスポンスによる信頼性向上を提案
  • 既存ツール上で インテリジェントなワークフロー の構築・拡張が可能
  • 組織の 運用効率化 とセキュリティ強化への自動化の役割
  • 今後のIT管理における 自動化技術の重要性

Hackerたちの意見

でも、この進行中の事件は「アドバイザリー」としてタグ付けされてるんだよね。これは通常、限られた範囲や影響を伴うサービスの問題を説明するために使われるフラグなんだけど。コパイロットが信頼とプライバシーを侵害するのが「アドバイザリー」ってどういうこと?何か見落としてる?

アドバイザリーって、セキュリティリサーチでは英語の意味とは同じじゃないんだよね。残念ながら、「アドバイザリー」っていうのはセキュリティインシデントについて書かれた報告書で、バグの公式な声明やその影響、修正方法についてのものなんだ。英語の意味とは違って、「人にアドバイスする」や「何かをアドバイザリーとして受け取る」っていう意味じゃないんだよね(これって通常、すごくソフトな表現)。

https://www.merriam-webster.com/dictionary/advise 意味2: 情報や通知を与えること : 知らせる アドバイザリーは何かについて通知や警告を出し、可能な行動についての推奨をすることもある(でも必ずしもそうする必要はない)。

このほとんど内容のないストーリーを書いたLLMは、何を言ってるのか分かってない。情報セキュリティ業界の基本的な区別は、アドバイザリーは顧客に対してバグがあってそのせいで攻撃にさらされる可能性があることを伝え、特定のアクションを取ってもらいたいときに出すもので、インシデントレポートは被害が発生したことが分かっていて、それが自社のインフラに関わるもので、何が起きたのか、再発防止策を共有したいときに出すもの。後者は公の注目や規制の厳しい目を引き寄せるから、Microsoftのような企業は可能な限りアドバイザリーに留まるようにする(あるいはインシデントを隠す)。過去にそういうことがあったかもしれないけど、私の知る限り、Microsoftがファーストパーティのセキュリティインシデントレポートを公開したことはないと思う。

厳しさを誇張すると、人々はインシデント警告を無視するだけだよ。セキュリティチームがここで実際に必要なアクションは何?特にないよ。嫌だと思うかどうかは別として、結局のところ、修正も緊急の危害もない。ただのDLPポリシーに関する潜在的な問題があるだけ。実際に対処しなきゃいけない0-dayのように見せないでほしい。

これってAIアシスタントの根本的な課題を浮き彫りにしてるよね。役立つためには広範なアクセスが必要だけど、そのアクセスを正しくスコープするのが難しい。バグは修正できるけど、根底にある緊張関係、つまりAIツールに十分な権限を与えつつ、機密の境界を尊重するっていうのは、これからもいろんな形で浮上してくると思う。人間ユーザー用に設計された権限モデルを、全然違う動きをするAIエージェントに当てはめようとしてるからね。

これって他のアクセス制御システムと何が違うの?

根本的な緊張関係は、AIが大量の低品質な出力を生み出すってことだと思う。人間がその中身をチェックするのが嫌になるんだよね。だからみんなAIに直接インターフェースさせたがるけど、質の悪いものを現実に持ち込むと、いろいろ問題が出てくる。

重要なのは、AIがローカルで動いていればこの問題は起きないけど、「内部のメールをクリアテキストでクラウドに送る」っていうのは、実際に機密性が求められる組織にとっては深刻な問題だよね。

レトロフィッティングの問題は確かにあるけど、もっと具体的な設計の失敗があるんだ。それはデータの流れが逆方向になってること。従来のアクセス制御では、パターンはこうだ:ユーザーがデータをリクエスト -> 権限をチェック -> データが返されるか拒否される。モデルは未承認のデータを見ない。今のCopilotやほとんどのLLMエージェントでは、パターンはこうだ:ユーザーが質問 -> モデルが広く取得 -> センシティビティラベルをフィルターとしてチェック -> モデルが回答を生成。ラベルチェックは、データがすでにモデルのコンテキストに入った後に行われる。これがバグが起こる原因なんだ。ラベルシステムがあってもなくてもね。「今読んだことを無視して」とモデルに指示するのは信頼できない。実際に機能するパターンは、事前取得フィルタリングなんだ。モデルが必要な構造化クエリを出して、そのクエリが何かが返ってくる前に権限レイヤーで評価される。そして許可されたコンテンツだけがコンテキストウィンドウに入る。モデルは見てはいけないものを見えないように設計されている。DLPラベルアプローチは、生成時のフィルターで取得の問題を解決しようとしている。それはカテゴリエラーで、ラベル検出がどれだけ良くなっても、こういうバグを生み出し続けるよ。

私には、他のユーザーのメールボックスにはアクセスしてなくて、現在のユーザーのメールボックスにアクセスしてるだけ(本来そういうものだし)って感じなんだけど、現在のユーザーの「機密」フラグが付いたメールを無視するはずが、その部分にバグがあったってことだね。

問題は、機密情報がクラウドAIに送信されてしまって、DLPポリシーに違反してることだと思う。

Hacker Newsで議論の続きを見る