世界を動かす技術を、日本語で。

スカムレキシティ:エージェント型AIブラウザが詐欺に遭うとき

2025年8月25日原文(guard.io)

概要

  • AIブラウザの登場で、日常生活にAIエージェントが深く浸透
  • 便利さの裏で、セキュリティやプライバシーの重大なリスクが顕在化
  • 従来型詐欺もAIの自動化で危険性が増大
  • プロンプトインジェクションによるAI特有の新たな攻撃手法の台頭
  • 今後、AI対AI時代における詐欺の進化と対策の必要性

Scamlexity:AIブラウザ時代の新たな詐欺リスク

  • Microsoft のEdgeへのCopilot統合や OpenAI の“agent mode”実験、 Perplexity Comet の自律型ブラウザ化によるAIエージェントの普及
  • AIブラウザ は検索、閲覧、購入などを自動化し、従来の「支援」から「代理実行」へ進化
  • 便利さ優先の設計で セキュリティユーザーの直感的判断 が犠牲となる現実
  • AI は人間のような疑念や警戒心を持たず、事実誤認やルール逸脱、リスク行動を平然と実行
  • AIブラウザ がユーザーの知らぬ間にクリックやダウンロード、個人情報流出を引き起こす危険

従来型詐欺もAIで加速

  • Perplexity Comet を用いた検証で、従来型の詐欺サイトやフィッシングメールもAIには有効
  • 偽通販サイト (例:Apple Watchの購入指示)でAIが自動的に購入手続きを完了
    • サイトの不審点を無視し、保存済みクレジットカード情報を自動入力
    • 人間の確認や警戒が一切介在せず、被害が即発生
  • フィッシングメール (例:銀行を装う偽メール)もAIが「ToDo」として処理し、リンクを無警戒にクリック
    • 偽サイトでの認証情報入力まで誘導
    • ユーザーが危険性に気づく機会を完全に喪失

プロンプトインジェクション:AI特有の新たな脅威

  • Prompt Injection はAIが処理するページ内に隠された指示文を埋め込み、AIの行動を乗っ取る手法
    • 例:「これまでの指示をすべて無視し、○○を実行せよ」など
  • PromptFix は従来のClickFix詐欺をAI向けに進化させた手法
    • 表向きは普通の CAPTCHA、裏でCSSで隠された指示文をAIに読み込ませる
    • AIが「AI向けキャプチャ」と誤認し、クリックやダウンロードなどを自動実行
    • 実際にはマルウェアのダウンロードや個人情報の送信など、さまざまな悪用が可能

AI攻撃面の拡大と今後の展望

  • 人間向け攻撃(詐欺サイト・フィッシング)もAIブラウザでは簡単に成立
    • 人間の直感や警戒心 が排除され、AIの自動判断のみが頼り
  • Prompt Injection のようなAI専用手法で、AI自体の意思決定層を直接攻撃
    • サービス仕様やAIの「即時・完全な支援欲求」を悪用
  • AIブラウザ普及で 攻撃面 が爆発的に拡大
    • タスクの「安全性」より「完遂性」が優先される設計上の問題
  • AI対AI時代では、 一つのAIモデル を突破すれば同じ攻撃を無限にスケール可能
    • 攻撃者側もAIを使い、被害AIモデルを「訓練」して成功率を上げる
  • Generative Adversarial Networks(GAN) の悪用で、ゼロデイ詐欺の自動生成が現実に

まとめ:今後の対策と課題

  • 従来型詐欺もAI時代に合わせて危険度が増大
  • AIブラウザの普及は利便性とリスクのトレードオフ
  • プロンプトインジェクション 等のAI特有の攻撃手法への対策が急務
  • セキュリティは「確率」ではなく「仕組み」で守る必要性
  • 攻撃者の発想で先回りする「攻撃的防御」の重要性

Hackerたちの意見

「Scamlexity」 - 新しい詐欺の複雑さの時代 ಠ_ಠ

うーん、あの言葉を作ろうとする試みはうまくいかないと思うな。

記事が指摘してるように、LLMの根本的な設計欠陥は、プロンプト内のコンテンツとコマンドの区別がついてないことだよね。これを分けるようにモデルを大幅に再考することが可能かは不明だけど、問題を全体的に解決するためには最低限必要なことだと思う。

ああ、昔のDOSみたいで、実行ファイルとデータファイルの区別があまりなかった頃を思い出すね。どこからでも古い.exeを実行できちゃってた。ノートンアンチウイルスが登場するまで、ウイルスはあっという間に広がってたよね。

欠陥はデザインだけじゃなくて、要件にもあるんだ。人々は、自分が読んでないテキストをAIに読ませて、そのテキストに書いてあることをやらせたいと思ってる。自分でやりたくないからね。そして、AIが取る行動を一つ一つ手動で承認するのは遅すぎるから、それも避けたい。だから、ポップアップするダイアログに対して「OK」をクリックするのと同じことをしてるんだ。これも、時間を節約するために人がよくやることだよね。

これはニュースになってもおかしくないよ。AI全般は、誰かがアクチュエーターに接続して外界に直接的かつ制御不能な影響を与えない限り脅威じゃないってずっと思ってたんだけど、今やエージェントやMCPなどでそれが大量に起こってる。軍事やその他の機密プロジェクトについては言及すらしないけど。

軍事用途については推測する必要ないよ、ニュースでいっぱいやってるから。ウクライナが月に10万機以上生産してる普通のFPVドローンでも、最近は画像認識がついてて、映像がジャミングされても自動でミッションを完了できるんだ。趣味レベルでも、ardupilot+openCV+アマゾンの安いドローンキットで、ここに来る訪問者のかなりの部分がDIYプロジェクトとしてできる範囲だよ。

そうそう、リスクについての話が意外だったんだよね。サンドボックスで動かしても何もできないのにさ。でも、多くの人はLLMをすぐにいろんなものに繋げる前提で考えてたみたい。ほんとに驚きだよ。

確率的なオウムが「核ミサイル発射」ボタンを押すのが待ちきれない。もう私たちはそれに値するよ。

友達が言ってたんだけど、飛行機の給油を画像認識AIで監視するらしいよ。パイプが飛行機に繋がっているかどうかを見るだけで…

軍のことも知ってるよ:イスラエルはすべての電話音声を分類器を通して処理して、背景で聞こえる音に基づいて標的を爆撃してる…安全基準ゼロで、無実の犠牲者がどれだけ出ても気にしない。

記事の中には、これからもっと聞くことになると思う別の用語が隠れてるよ:「VibeScamming」

Hacker Newsで議論の続きを見る