概要
- 画像を使ったマルチモーダルプロンプトインジェクション攻撃の脅威紹介
- Google Gemini CLIなど複数AIシステムでのデータ流出実証
- 画像スケーリング時の脆弱性悪用手法とアルゴリズムの違い
- 攻撃防御策と設計パターンの提案
- オープンソースツール「Anamorpher」の紹介
画像スケーリング攻撃によるマルチモーダルプロンプトインジェクション
- 一見 無害な画像 をAIシステムに送信することで、 ユーザーデータ流出 を引き起こす攻撃手法
- 画像スケーリング時に 肉眼では見えないプロンプトインジェクション を埋め込むことで、AIが意図しない動作を実行
- Google Gemini CLI、Vertex AI Studio、Gemini Web/API、Google Assistant、Gensparkなど 複数のAIシステムで実証
- 画像はアップロード時に自動で リサイズ・スケーリング されるため、ユーザーが実際にAIが認識する画像を確認できないケースが多い
- Zapier MCPサーバーなどの 自動承認設定 を利用し、ユーザー確認なしでGoogle Calendarのデータを攻撃者のメールに送信する例を実演
既存のプロンプトインジェクション攻撃との関係
- Claude CodeやOpenAI Codex等の エージェント型コーディングツール でも同様の攻撃が報告
- サンドボックスの安全でない動作、ネットワーク許可リストの過剰許可、環境設定の変更による ユーザー確認回避 が過去の主な攻撃経路
- 依然として 安全なデフォルト設定や設計パターンの不足 が問題
攻撃対象の拡大とユーザー認識とのギャップ
- Vertex AI Studioでは 高解像度画像 をフロントエンドで表示し、モデルは ダウンサンプル画像 を処理するため、ユーザーとモデルで認識のズレが発生
- 攻撃ベクトルは 多くのAIシステムで再現可能 であり、今後も拡大が予想される
画像スケーリングアルゴリズムと攻撃手法
- 主なダウンサンプリングアルゴリズムは Nearest Neighbor、Bilinear、Bicubic
- 各アルゴリズムごとに 攻撃手法が異なる
- Pillow、PyTorch、OpenCV、TensorFlow等 ライブラリごとの実装差異 やバグも攻撃手法に影響
- 各システムのアルゴリズム特定のため、 専用テストスイート （チェッカーボード、同心円、縞模様、モアレ、斜めエッジ等）を開発
- これにより アーティファクト（リンギング、ブラー、エッジ処理、エイリアシング、色の不整合） を観察し、最適な攻撃を選択
ニクイスト理論とエイリアシングの悪用
- ニクイスト–シャノン標本化定理により、 サンプリングレートが低いと元画像の再現が困難 になる現象（エイリアシング）を利用
- 特定ピクセルを操作し、 スケーリング後にターゲットパターンが現れる よう設計
Anamorpherの仕組みと活用
- オープンソースツール Anamorpher は、主要3種のダウンサンプリング方式に対応した画像作成・可視化機能を提供
- Bicubic補間では、 16ピクセル（4x4）の重み付け を利用し、高輝度ピクセルを巧妙に配置
- ダークエリアを利用し、 最適化計算（最小二乗法） で背景色を変化させ、テキスト部分はほぼ維持
- フロントエンドUIやPython APIで 特定アルゴリズム・実装向けに攻撃画像を生成・検証 可能
防御策と設計上の注意点
- 脆弱性の少ないアルゴリズム選定だけでは 抜本的な対策とならない
- 画像スケーリング自体を避け、アップロード画像サイズを制限 するのが理想
- 変換が必要な場合は、 モデルが実際に処理する画像のプレビューを必ず提供
- 最も強力な防御は、 設計パターンやシステム的防御 の徹底
- 画像内テキストが ユーザー確認なしに機密操作を実行できない 設計
- エージェントシステムのセキュリティガイドライン遵守
今後の課題と展望
- モバイルやエッジデバイスでは 固定画像サイズや非最適なダウンサンプリングアルゴリズム の利用が多く、攻撃リスクがさらに高まる可能性
- 音声AI、より高度なフィンガープリント手法、セマンティックプロンプトインジェクション、ディフュージョン、ポリグロット、アーティファクト連鎖 など新たな攻撃面の研究が必要
- Anamorpherは現在ベータ版 であり、さらなる改善のためフィードバックを歓迎
- マルチモーダル・エージェント型AIシステムのセキュリティ研究の継続を呼びかけ