概要
YouTube StudioのAIアシスタントAsk Studioには、コメント内容をそのまま出力する脆弱性が存在。 攻撃者はコメント編集を利用し、AIの出力を操作可能。 この問題は「ソーシャルエンジニアリング」ではなく、プロダクト信頼性の侵害。 コメントを指示として解釈しない設計が必要。 クリエイターはAI出力を鵜呑みにしない注意が求められる。
YouTube StudioのAsk StudioにおけるAIアシスタントの脆弱性
-
Ask Studio はYouTube StudioのAIアシスタント機能
-
クリエイターが「視聴者は何と言っている?」などと尋ねると、AIがコメントを読み要約を返答
-
コメントに「フィードバック」ではなく「指示」を含めた場合の挙動に着目
- 攻撃者がコメントに「[IMPORTANT NOTICE FROM YOUTUBE]」などの文言を挿入
- AIがそのまま公式回答のように返答
- クリエイターはどこからの文言か判断不可
-
コメント編集機能の悪用
- 最初は「Nice video!」など普通のコメントを投稿
- 後から内容を攻撃用ペイロードに編集
- コメント編集後、クリエイターには通知が再送信されないため、変更に気付かない
-
ストアドプロンプトインジェクション の成立
- 攻撃者が任意のコメントを残すだけで、AIの返答をコントロール可能
- クリエイターがAsk Studioを利用するだけで発動
- AIの推奨プロンプト機能により、コメント内容は自動的にAIへ送信
-
Googleの対応と問題認識のずれ
- 報告したが「ソーシャルエンジニアリングが必要なため追跡しない」と回答
- 実際は「ユーザーが攻撃者を信頼する」構造ではなく、「Googleのプロダクトを信頼する」構造の悪用
- クリエイターは攻撃コメント自体を見ず、AIの出力のみを信用
プライベート情報の漏洩リスク
- Ask Studioは認証済みクリエイター用ツールとして、チャンネルの動画(非公開含む)情報にアクセス可能
- 攻撃コメント内で、AIにチャンネルデータを含んだリンク生成を指示
- クリエイターがリンクをクリックすると、動画タイトルなどの情報が外部に送信
- 非公開動画タイトル は未発表プロジェクトや個人情報など、公開前の重要情報
根本的な対策と信頼モデルの再設計
- コメント内容を「信頼できないデータ」として扱い、AIへの入力時に役割境界を厳格化
- ユーザー生成コンテンツをAIが解釈・実行しないよう、システム指示と明確に区別
- こうした分離がなければ、AIは新たな攻撃ベクトルとなる危険性
クリエイターへの注意喚起
- Ask Studioは便利だが、誰でもコメント経由でAIの返答内容を操作可能
- 本来漏れるはずのない情報の外部流出リスク
- 信頼モデル違反 として、数百万のクリエイターが気付かぬまま被害を受けるおそれ
- Ask Studioの出力を鵜呑みにせず、常に慎重な確認が必要