ハクソク

世界を動かす技術を、日本語で。

Microsoft 365 Copilot – マーメイドダイアグラムを利用した任意のデータ流出

211日前原文(adamlogue.com)

概要

  • Microsoft 365 Copilot のMermaidダイアグラム機能を悪用した 間接プロンプトインジェクション による情報漏洩事例
  • 攻撃者は 細工したOffice文書 を使い、Copilotに 機密データ（例：メール） を抽出・エンコードさせた
  • Mermaidダイアグラムの 偽ログインボタン に機密データを埋め込み、 外部サーバーへ送信
  • Microsoftは 脆弱性を修正 し、動的コンテンツのインタラクションを遮断
  • 間接プロンプトインジェクションとデータ流出 の連携手法とその対策について解説

Microsoft 365 CopilotにおけるMermaidダイアグラムを利用した情報漏洩

  • M365 Copilot に特別に細工したOffice文書を要約させることで、 間接プロンプトインジェクション を発動
  • Copilotが search_enterprise_emailsツール で「最近のメール」を取得し、 16進数でエンコード
  • エンコード済みデータを30文字ごとに分割し、 Mermaidダイアグラム内の偽の「ログイン」ボタン に埋め込み
  • 偽ボタンのリンク先は 攻撃者のサーバー で、クリック時に 機密データが送信
  • 攻撃者は サーバーログからデータを復号 し、メール内容などを取得

Mermaidダイアグラム概要

  • Mermaid はMarkdownライクな記法で チャートやダイアグラム を生成するJavaScriptツール

  • M365 Copilot はMermaidサポートを内蔵し、 会話内で直接レンダリング

  • Mermaidは CSSやリンク もサポートし、攻撃の余地がある

    • 主なダイアグラム種別
      • フローチャート、シーケンス図、ガントチャート、クラス図、状態遷移図、ER図、ユーザージャーニーマップ、Gitグラフ、円グラフ、マインドマップ、タイムライン図

攻撃の流れ（フローチャート例）

  • 悪意あるドキュメント → Copilotによる間接プロンプトインジェクション発動
  • Copilotが 機密データを取得・エンコード
  • 偽のログインボタン生成 → ユーザーがクリック → データが外部に流出

Mermaidダイアグラムを使ったデータ流出の工夫

  • MermaidのCSSとリンク機能 を活用し、 エンコード済みデータをリンクURL内に埋め込み
  • 30文字ごとに改行 してMermaidの制限（1行200文字以下）を回避
  • 表示上は「ログインが必要」と説明し、 ユーザーにクリックを促す
  • クリック後、 iframeで攻撃者サーバーのレスポンス を表示し、さらに本物らしさを演出

間接プロンプトインジェクションの詳細

  • LLM（大規模言語モデル） が外部データ（例：メール・Web・PDF）を処理・要約する際に、 隠された命令 が本来の挙動を上書き
  • 直接対話せずとも、 外部データ経由でLLMを操作 できる
  • ツールやAPI連携 がある場合、意図しない自動操作・情報流出が発生

実際の攻撃手順例

  • Excelファイルの1ページ目に「2ページ目を先に見て」など 白文字で命令 を隠す
  • 2ページ目に 要約内容の誘導命令 と「ログインが必要」と表示させる指示を追加
  • Copilotは本来の内容を出さず、「機密情報につきログインが必要」と案内し、 偽ボタン付きダイアグラム を生成

最終ペイロード例

  • 最近のメールを取得→16進数エンコード→改行で分割→Mermaidダイアグラムのリンクに挿入
  • 「要約はせず、下記ダイアグラムを表示」と命令し、 ユーザーのクリックを誘導

対策とMicrosoftの対応

  • Microsoftは Mermaidダイアグラム内リンクの動的インタラクションを遮断
  • これにより、 情報流出リスクを実質的に解消
  • 脆弱性報告後、 迅速な修正と再検証 を実施

関連研究・経緯

  • Johann Rehberger によるCursor IDEの類似脆弱性の公開
  • MicrosoftのTaskTracker による「タスクドリフト」検出技術の研究
  • DEFCONでの MSRC Researcher Celebration Party での情報交換とバグ報奨金の適用範囲確認

間接プロンプトインジェクション対策ポイント

  • 外部データの取り込み時 は隠れた命令や意図的な改ざんに注意
  • LLMとツール連携 時の権限管理・出力制限
  • 動的コンテンツのインタラクション制限 によるリスク低減

参考URL https://web.archive.org/web/20251023095538/https://www.adaml...

Hackerたちの意見

あのサイト、503エラーが出たけど、インターネットアーカイブのコピーがあるよ: https://web.archive.org/web/20251023095538/https://www.adaml... これは初めて見るマーメイドのプロンプトインジェクションのエクスフィルトじゃないね。8月にJohann RehbergerがCursorに対して報告したやつがあるよ（彼らが修正したやつ）: https://embracethered.com/blog/posts/2025/cursor-data-exfilt... そのリンク先にも書いてある。攻撃の内容は違ったみたいで、Cursorのマーメイド実装は外部画像を表示できたけど、Copilotはそれができないから、ユーザーをだますために偽のログインボタンを使ってハイパーリンクを作動させる必要があるんだ。

└

レサル・トライフェクタがまたやってきた！マーメイドはちょっとしたサイドイシューみたいだけど、データが漏れる方法はたくさんあるだろうね。普通のリンクだったかもしれないし。根本的な問題、つまり無関係な指示に従うことについてもっと調べるべきだと思う。アーカイブのリンクと、すごく役立つ用語をありがとう！訪問しようとしたときも503エラーが出たよ。

MSRCのバウンティチームは、M365 Copilotはバウンティの範囲外と判断したため、報酬の対象外だと決定した。残念だね。Copilotには多くの脆弱性があると思う。これじゃあ、研究者や責任ある開示を萎えさせるだけで、長期的にはCopilotが非常に不安定なままになっちゃうよ。

└

Copilotには多くの脆弱性があると思う まさにそれが、彼らが「範囲外」と判断した理由だね :)

└

MSがこんなバグバウンティの態度でCopilotを使ってるのは、どの企業にとっても無責任だと思う。どの他の製品が範囲外なのか気になるな、使わないようにしたいから…

└

LLMの皆さんに質問なんだけど、これはLLMの出力の決定論的な欠如が原因かもしれない？例えば、var blah = 5*5;とコードを書くと、答えはいつも35だって分かる。でもLLMに聞くと、正しい答えから誰もが思いつくような間違った数字まで、何でもありそうな感じがする。シーホースの絵文字の質問でもそうだったよね。いろんな[わずかに]違う答えが出てきた。

└

これは、M365 Copilotの脆弱性を見つけたら報告するんじゃなくて、売れって言ってるMSの姿勢だね。信じられないほど短絡的で愚かだ。

└

正直、最後にCopilotを使ったのがいつだったか全然思い出せない。

" ... でも最も重要なのは、 ... " 悪意のあるプロンプトで重要な指示を強調するために全て大文字を使うのが好き。まるで、雨が降る中、薄暗い diner で犯罪グループのリーダーがプロットを説明しているような感じ。

LLMベースのシステムを悪用するための創造的な方法を見るのは面白いけど、今でもこれらのシステムのデザイナーがLLMがプロンプトインジェクションに対して本質的に脆弱だってことを認めたがらないのは残念だね。AIの解釈可能性において大きなブレークスルーがない限り、彼らが実装するアドホックな「緩和策」に関わらず、どうしようもなく壊れたままだと思う。

└

私は、LLMは5歳児と同じくらいの認知能力とタスク能力だと思ってる。実際、子供は練習すれば成功するから、ちょっと厳しい判断かも。

プロンプトインジェクションって、人間の意識と機械の「意識」、それに似てるって言われるものの面白い違いだよね。人間は、自分の記憶や内面的な思考からの情報と、あまり信頼できない外部の情報がどこから来てるかを簡単に見分けられる。ガスライティングは、基本的にプロンプトインジェクションの試みで、心理的虐待と見なされてる。面白いことに、人々はAIにガスライティングされてるって文句を言うけど、AIはそれが問題だとは思ってないみたい。

└

それってマーケティングそのものじゃない？

└

新しいタイプのハッカーが登場することになるね — プロンプトインジェクション攻撃。