ハクソク

世界を動かす技術を、日本語で。

マイクロソフト、バグが「Copilot」に機密メールを要約させる原因と発表

96日前原文(bleepingcomputer.com)

概要

Microsoft 365 Copilotのバグにより、機密メールが誤って要約される問題が発生。 DLPポリシーが無効化され、機密ラベル付きメールもAI要約対象に。 2024年1月下旬から発生し、2月初旬から修正対応が進行中。 影響範囲や最終的な修正完了時期は未公開。 Microsoftは影響ユーザーへの個別対応と監視を継続中。

Microsoft 365 Copilotのバグによる機密メール要約問題

  • Microsoft 365 Copilot のバグによる機密メールの要約問題
  • DLP（データ損失防止）ポリシー をバイパスし、機密情報保護が無効化される事象
  • バグは CW1226324 として追跡、2024年1月21日に初検知
  • Copilotの「 work tab」チャット機能が、 Sent Items や Drafts フォルダ内のメールを誤って要約
  • 機密ラベル（confidentiality label）付きメールもAIによる要約対象となる問題
  • Copilot Chat はMicrosoft 365のAIチャット機能、Word・Excel・PowerPoint・Outlook・OneNoteに展開
  • 2025年9月からMicrosoft 365ビジネスユーザー向けに順次提供開始

Microsoftの対応状況と影響範囲

  • Microsoftは コードエラー が原因と発表
  • 2024年2月初旬より 修正プログラムの展開 を開始
  • 修正状況を 継続監視、一部影響ユーザーに個別連絡・検証を実施
  • 修正完了までの 最終スケジュールは未定
  • 影響ユーザー・組織数は非公開、調査進捗により範囲が変動する可能性
  • 本インシデントは「 advisory」として分類、影響範囲は限定的と想定

ITインフラの将来と自動化の重要性

  • 現代の ITインフラ は手動ワークフローでは対応困難な速度で進化
  • Tines guide で、手動作業の遅延削減や自動レスポンスによる信頼性向上を提案
  • 既存ツール上で インテリジェントなワークフロー の構築・拡張が可能
  • 組織の 運用効率化 とセキュリティ強化への自動化の役割
  • 今後のIT管理における 自動化技術の重要性

Hackerたちの意見

でも、この進行中の事件は「アドバイザリー」としてタグ付けされてるんだよね。これは通常、限られた範囲や影響を伴うサービスの問題を説明するために使われるフラグなんだけど。コパイロットが信頼とプライバシーを侵害するのが「アドバイザリー」ってどういうこと？何か見落としてる？

└

アドバイザリーって、セキュリティリサーチでは英語の意味とは同じじゃないんだよね。残念ながら、「アドバイザリー」っていうのはセキュリティインシデントについて書かれた報告書で、バグの公式な声明やその影響、修正方法についてのものなんだ。英語の意味とは違って、「人にアドバイスする」や「何かをアドバイザリーとして受け取る」っていう意味じゃないんだよね（これって通常、すごくソフトな表現）。

└

https://www.merriam-webster.com/dictionary/advise 意味2: 情報や通知を与えること : 知らせる アドバイザリーは何かについて通知や警告を出し、可能な行動についての推奨をすることもある（でも必ずしもそうする必要はない）。

└

このほとんど内容のないストーリーを書いたLLMは、何を言ってるのか分かってない。情報セキュリティ業界の基本的な区別は、アドバイザリーは顧客に対してバグがあってそのせいで攻撃にさらされる可能性があることを伝え、特定のアクションを取ってもらいたいときに出すもので、インシデントレポートは被害が発生したことが分かっていて、それが自社のインフラに関わるもので、何が起きたのか、再発防止策を共有したいときに出すもの。後者は公の注目や規制の厳しい目を引き寄せるから、Microsoftのような企業は可能な限りアドバイザリーに留まるようにする（あるいはインシデントを隠す）。過去にそういうことがあったかもしれないけど、私の知る限り、Microsoftがファーストパーティのセキュリティインシデントレポートを公開したことはないと思う。

└

厳しさを誇張すると、人々はインシデント警告を無視するだけだよ。セキュリティチームがここで実際に必要なアクションは何？特にないよ。嫌だと思うかどうかは別として、結局のところ、修正も緊急の危害もない。ただのDLPポリシーに関する潜在的な問題があるだけ。実際に対処しなきゃいけない0-dayのように見せないでほしい。

これってAIアシスタントの根本的な課題を浮き彫りにしてるよね。役立つためには広範なアクセスが必要だけど、そのアクセスを正しくスコープするのが難しい。バグは修正できるけど、根底にある緊張関係、つまりAIツールに十分な権限を与えつつ、機密の境界を尊重するっていうのは、これからもいろんな形で浮上してくると思う。人間ユーザー用に設計された権限モデルを、全然違う動きをするAIエージェントに当てはめようとしてるからね。

└

これって他のアクセス制御システムと何が違うの？

└

根本的な緊張関係は、AIが大量の低品質な出力を生み出すってことだと思う。人間がその中身をチェックするのが嫌になるんだよね。だからみんなAIに直接インターフェースさせたがるけど、質の悪いものを現実に持ち込むと、いろいろ問題が出てくる。

└

重要なのは、AIがローカルで動いていればこの問題は起きないけど、「内部のメールをクリアテキストでクラウドに送る」っていうのは、実際に機密性が求められる組織にとっては深刻な問題だよね。

└

レトロフィッティングの問題は確かにあるけど、もっと具体的な設計の失敗があるんだ。それはデータの流れが逆方向になってること。従来のアクセス制御では、パターンはこうだ：ユーザーがデータをリクエスト -> 権限をチェック -> データが返されるか拒否される。モデルは未承認のデータを見ない。今のCopilotやほとんどのLLMエージェントでは、パターンはこうだ：ユーザーが質問 -> モデルが広く取得 -> センシティビティラベルをフィルターとしてチェック -> モデルが回答を生成。ラベルチェックは、データがすでにモデルのコンテキストに入った後に行われる。これがバグが起こる原因なんだ。ラベルシステムがあってもなくてもね。「今読んだことを無視して」とモデルに指示するのは信頼できない。実際に機能するパターンは、事前取得フィルタリングなんだ。モデルが必要な構造化クエリを出して、そのクエリが何かが返ってくる前に権限レイヤーで評価される。そして許可されたコンテンツだけがコンテキストウィンドウに入る。モデルは見てはいけないものを見えないように設計されている。DLPラベルアプローチは、生成時のフィルターで取得の問題を解決しようとしている。それはカテゴリエラーで、ラベル検出がどれだけ良くなっても、こういうバグを生み出し続けるよ。

私には、他のユーザーのメールボックスにはアクセスしてなくて、現在のユーザーのメールボックスにアクセスしてるだけ（本来そういうものだし）って感じなんだけど、現在のユーザーの「機密」フラグが付いたメールを無視するはずが、その部分にバグがあったってことだね。

└

問題は、機密情報がクラウドAIに送信されてしまって、DLPポリシーに違反してることだと思う。

ここで見える問題は二つある（「そもそもこんなことを許していいのか？」という明らかな問題を除いて）：1. Copilotが訓練に使った機密データはどうなったの？そのデータはモデルの訓練からどうやって分けて削除されているの？本当に消えたって確信できるの？2. この問題は発覚したけど、残念ながらMicrosoftのセキュリティ対策があまりにも不十分だから、今どんな問題が潜んでいるのか分からない。ここで起きたことと同じくらい悪い、いやそれ以上の問題があるかもしれない。AIを「どこにでも散りばめる」という考え方には根本的な欠陥があって、そのアプローチを見直す代わりに、修正をつぎはぎしても、誰のデータも一つのプロンプトインジェクションで奪われる危険があるという根本的な問題は残る。たとえそれが「安全」とラベル付けされていても。

└

すべてのベンダーはユーザーデータを要約して、その要約したデータを訓練に使ってるんだって。これは彼らの利用規約にも書いてある。彼らはこの分野でかなりの経験があるよ。Microsoftのソフトウェアは2014年以降、ほとんどが他の人のコードを要約したものだしね。

└

「Microsoft 365 Copilotの『作業タブ』チャットは、感度ラベルが適用され、DLPポリシーが設定されているにもかかわらず、メールメッセージを要約しています。」私は（3）を追加したい - DLPポリシーはその目的、つまりマシン間のデータ共有を監視することにおいて効果がないようだ。 (https://learn.microsoft.com/en-us/purview/dlp-learn-about-dl...) DLP機能ページから直接引用すると： > DLPは、収集ポリシーを用いて、ネットワーク上で送信されるデータやMicrosoft Edge for Businessでのデータをターゲットにして、未管理のクラウドアプリへの過剰共有を監視・保護します。インラインウェブトラフィック（プレビュー）やネットワークアクティビティ（プレビュー）を対象とするポリシーを作成して、以下の場所をカバーします： > OpenAI ChatGPT - Edge for Businessおよびネットワークオプション > Google Gemini - Edge for Businessおよびネットワークオプション > DeepSeek - Edge for Businessおよびネットワークオプション > Microsoft Copilot - Edge for Businessおよびネットワークオプション > Microsoft Defender for Cloud Appsのクラウドアプリカタログにある34,000以上のクラウドアプリ - ネットワークオプションのみ

└

私の知る限り、Copilotはモデルじゃないよ。トレーニングに使われたデータについて尋ねているとき、あなたが言っているのはほとんどOpenAIのモデルか、場合によってはAnthropicのモデルを指していると思う。顧客データはCopilotを動かすモデルのトレーニングには使われていないよ。

毎日、Linuxに切り替える理由が増えてる気がする。Microsoftは今年、本当に驚くべきことをやってるね！

└

Appleもあまり良くないけど、逆の意味で。Microsoftは野心的すぎる機能をリリースして大惨事になってるし、Appleはあまりにも控えめな機能を出してるから、存在すら忘れそう。

└

最近、仕事用のノートパソコンをDellからMacBookに切り替えたんだけど、Windows 11には企業向けの無駄が多すぎて、OutlookやOffice、OneDriveのようなMSアプリもWindows 11よりMacの方が動作が良いことに気づいた。

Microsoftは、LLMがあなたの画面のすべてにアクセスできる未来を見ているみたい。そのディストピアでは、「機密」とタグ付けしたり、特定のコンテンツを無視するように指示しても全然足りない。LLMにコンテンツを抜き出させたくないなら、アクセスさせちゃダメだよ。

└

Microsoftは、あなたの画面のすべて（個人ファイルの内容も含めて）にアクセスしたがっていて、それをLLMに渡すことで、そのデータから利益を得やすくしてるんだ。

最近、上司にMicrosoft 365をキャンセルさせようとするバグが口の中にいる気がする。まだ根本的な原因は見つけてないけど。

これらの政府契約者は、「GCC-High」を取得するために天文学的なクラウド料金を支払わざるを得ないんだ。それがセキュリティシアターのチェックリストを通過するから。でも、結局DLP設定は無視されちゃうんだよね！

Microsoftがバグのあるソフトウェアを展開するのは、ほとんどニュースじゃないね。

これって本物のバグなの？それとも「もっとメールでトレーニングしようぜ」って感じの手抜き？AIサービスで処理されたものは、一般的に製品改善のために保持されると思ってるんだけど。