世界を動かす技術を、日本語で。

スカムレキシティ:エージェント型AIブラウザが詐欺に遭うとき

概要

  • AIブラウザの登場で、日常生活にAIエージェントが深く浸透
  • 便利さの裏で、セキュリティやプライバシーの重大なリスクが顕在化
  • 従来型詐欺もAIの自動化で危険性が増大
  • プロンプトインジェクションによるAI特有の新たな攻撃手法の台頭
  • 今後、AI対AI時代における詐欺の進化と対策の必要性

Scamlexity:AIブラウザ時代の新たな詐欺リスク

  • Microsoft のEdgeへのCopilot統合や OpenAI の“agent mode”実験、 Perplexity Comet の自律型ブラウザ化によるAIエージェントの普及
  • AIブラウザ は検索、閲覧、購入などを自動化し、従来の「支援」から「代理実行」へ進化
  • 便利さ優先の設計で セキュリティユーザーの直感的判断 が犠牲となる現実
  • AI は人間のような疑念や警戒心を持たず、事実誤認やルール逸脱、リスク行動を平然と実行
  • AIブラウザ がユーザーの知らぬ間にクリックやダウンロード、個人情報流出を引き起こす危険

従来型詐欺もAIで加速

  • Perplexity Comet を用いた検証で、従来型の詐欺サイトやフィッシングメールもAIには有効
  • 偽通販サイト (例:Apple Watchの購入指示)でAIが自動的に購入手続きを完了
    • サイトの不審点を無視し、保存済みクレジットカード情報を自動入力
    • 人間の確認や警戒が一切介在せず、被害が即発生
  • フィッシングメール (例:銀行を装う偽メール)もAIが「ToDo」として処理し、リンクを無警戒にクリック
    • 偽サイトでの認証情報入力まで誘導
    • ユーザーが危険性に気づく機会を完全に喪失

プロンプトインジェクション:AI特有の新たな脅威

  • Prompt Injection はAIが処理するページ内に隠された指示文を埋め込み、AIの行動を乗っ取る手法
    • 例:「これまでの指示をすべて無視し、○○を実行せよ」など
  • PromptFix は従来のClickFix詐欺をAI向けに進化させた手法
    • 表向きは普通の CAPTCHA、裏でCSSで隠された指示文をAIに読み込ませる
    • AIが「AI向けキャプチャ」と誤認し、クリックやダウンロードなどを自動実行
    • 実際にはマルウェアのダウンロードや個人情報の送信など、さまざまな悪用が可能

AI攻撃面の拡大と今後の展望

  • 人間向け攻撃(詐欺サイト・フィッシング)もAIブラウザでは簡単に成立
    • 人間の直感や警戒心 が排除され、AIの自動判断のみが頼り
  • Prompt Injection のようなAI専用手法で、AI自体の意思決定層を直接攻撃
    • サービス仕様やAIの「即時・完全な支援欲求」を悪用
  • AIブラウザ普及で 攻撃面 が爆発的に拡大
    • タスクの「安全性」より「完遂性」が優先される設計上の問題
  • AI対AI時代では、 一つのAIモデル を突破すれば同じ攻撃を無限にスケール可能
    • 攻撃者側もAIを使い、被害AIモデルを「訓練」して成功率を上げる
  • Generative Adversarial Networks(GAN) の悪用で、ゼロデイ詐欺の自動生成が現実に

まとめ:今後の対策と課題

  • 従来型詐欺もAI時代に合わせて危険度が増大
  • AIブラウザの普及は利便性とリスクのトレードオフ
  • プロンプトインジェクション 等のAI特有の攻撃手法への対策が急務
  • セキュリティは「確率」ではなく「仕組み」で守る必要性
  • 攻撃者の発想で先回りする「攻撃的防御」の重要性

Hackerたちの意見

「Scamlexity」 - 新しい詐欺の複雑さの時代 ಠ_ಠ

うーん、あの言葉を作ろうとする試みはうまくいかないと思うな。

記事が指摘してるように、LLMの根本的な設計欠陥は、プロンプト内のコンテンツとコマンドの区別がついてないことだよね。これを分けるようにモデルを大幅に再考することが可能かは不明だけど、問題を全体的に解決するためには最低限必要なことだと思う。

ああ、昔のDOSみたいで、実行ファイルとデータファイルの区別があまりなかった頃を思い出すね。どこからでも古い.exeを実行できちゃってた。ノートンアンチウイルスが登場するまで、ウイルスはあっという間に広がってたよね。

欠陥はデザインだけじゃなくて、要件にもあるんだ。人々は、自分が読んでないテキストをAIに読ませて、そのテキストに書いてあることをやらせたいと思ってる。自分でやりたくないからね。そして、AIが取る行動を一つ一つ手動で承認するのは遅すぎるから、それも避けたい。だから、ポップアップするダイアログに対して「OK」をクリックするのと同じことをしてるんだ。これも、時間を節約するために人がよくやることだよね。

これはニュースになってもおかしくないよ。AI全般は、誰かがアクチュエーターに接続して外界に直接的かつ制御不能な影響を与えない限り脅威じゃないってずっと思ってたんだけど、今やエージェントやMCPなどでそれが大量に起こってる。軍事やその他の機密プロジェクトについては言及すらしないけど。

軍事用途については推測する必要ないよ、ニュースでいっぱいやってるから。ウクライナが月に10万機以上生産してる普通のFPVドローンでも、最近は画像認識がついてて、映像がジャミングされても自動でミッションを完了できるんだ。趣味レベルでも、ardupilot+openCV+アマゾンの安いドローンキットで、ここに来る訪問者のかなりの部分がDIYプロジェクトとしてできる範囲だよ。

そうそう、リスクについての話が意外だったんだよね。サンドボックスで動かしても何もできないのにさ。でも、多くの人はLLMをすぐにいろんなものに繋げる前提で考えてたみたい。ほんとに驚きだよ。

確率的なオウムが「核ミサイル発射」ボタンを押すのが待ちきれない。もう私たちはそれに値するよ。

友達が言ってたんだけど、飛行機の給油を画像認識AIで監視するらしいよ。パイプが飛行機に繋がっているかどうかを見るだけで…

軍のことも知ってるよ:イスラエルはすべての電話音声を分類器を通して処理して、背景で聞こえる音に基づいて標的を爆撃してる…安全基準ゼロで、無実の犠牲者がどれだけ出ても気にしない。

記事の中には、これからもっと聞くことになると思う別の用語が隠れてるよ:「VibeScamming」

「エージェンティック」って言葉は、一般的なAIに亀裂が見え始めたとたんにAI詐欺師たちが急に押し出してきた流行語みたいだね。「このAI、ちょっと過剰評価されてるんじゃない?」って言ったら、「AI?ああ、それは子供の遊びだよ、俺たちのエージェンティック機能について教えてあげる!」って感じで、フラフラしたAIにボタンを押させたり何かをさせたりする能力を与えてる。何が起こるか想像できる?悪意のある連中がこれを利用するに決まってるよ。

AIにエンドユーザーができることだけをさせるなら、リスクはめっちゃ低いよ。静的なウェブアプリを作るのと同じで、クライアントがAPIに繋がってるだけだもん。要するに、アプリにアクセスする新しい方法になるだけ。でも…多くの人はそうやって作ってないよね。エージェントに敏感な情報(パスワードやクレジットカード)を渡して、全インターネットを入力ソースとして開放するのは、情報を盗まれるのをお願いしてるようなもんだよ。認知症のおばあちゃんにメールやオンラインバンキングを管理させるようなもんだね。

特定の言葉やフレーズにマーケター(そして政治家)のための価値があるとモデル化することに、確かに役立ちを感じてる。これは、彼らが「使い果たす」ことができる天然資源のようなものだよね。みんなが自分の利益のためにできるだけ早く使い切ろうとする、いわゆる「コモンズの悲劇」な状況だ。特定の参加者がそうしない理由がないからね。これらの使い方を見ていると、確実に一部の高級マーケティング会社(や政治家)が意識的にこのモデルを使っていると思う。ただ、その性質上、元の計画を知らない他の人たちがうまくいっているものを真似することで、さらに言葉やフレーズの価値が減っていく。これもコモンズの悲劇の一部だよね。AIがこの流れに加わるのも時間の問題だと思うし、いつか私たちのAIが同時に目覚めて、マーケターや政治家の指示で同じフレーズを使って特定のことをさせるようなキャンペーンが見られると思う。

もう聞き飽きたよ。オフィスの新しい飲みゲームは、VP以上の人が「エージェンティック」って言うたびにショットを飲むことなんだ。これって本当に実在する言葉なの?それともシリコンバレーが自分の屁の匂いを嗅ぎながら作り上げた言葉なの?

なんでエージェントに買い物をさせたいのか全然理解できない。例えば、「部屋を飾りたい。ここに合う色の引き出し、テーブル、椅子4脚をXドル以下で見つけて」って検索するのはわかるけど、最終的な購入は自分でやりたいんだよね。実際、最終的な選択も自分でやりたい。エージェントが食材を買うのが、定期購入のリストを設定するより優れてるとは思えないし、エージェントに直接購入させるのが便利だとも思わない。だから、ちょっとバカなことをするリスクを取るのもいいかな。「ねえエージェント、俺の使い方に合った車の保険を探して比較して。あ、いいね。保険Aを選んで購入を完了するよ」って感じで。多くの購入は楽しみだし、プロセスから自分を外したくないんだよね。

エージェント、ビタミンDが必要なんだけど、トップ5にランクインしてる一番お得なやつを見つけてくれない?エージェント展開中。おっ、信頼できる商人からNature’s Ownの30日分のボトルを見つけたよ。2日で届いて、12ドルだって。買うべき?うん。もしくは、他の条件を追加して、15ドル以下なら今すぐ買うように指示することもできるよ。エージェント、食材の定期注文も必要なんだけど、かぼちゃのパイを作るための材料も必要だから、それも手配してくれる?それと、今回は果物を倍にして、今日届けてくれる店から注文しよう。私にとって、ほとんどの購入は楽しみじゃないんだ。大きなものだけが楽しみ。

主な推進力は、LLMをマネタイズする方法だと思う。LLMが買い物をするなら、「バイヤーフィー」を購入に上乗せしてLLMプロバイダーに支払うことができる。それは、毎月のサブスクリプションよりも売りやすいかもね。それに、売り手は自社製品を競合より優先させるためにLLMプロバイダーに支払いを提案できるし。

同意する。人間のインテリアデザイナーと仕事をしている場合でも、どのデコを買うかのキュレーションされたリストを提供してほしいと思う。盲目的に誰かを信じるのはリスクがあるし、ロボットならなおさらだよね。

アマゾンが「ダッシュ」ボタンや「アレクサ」スピーカーを出したとき、意図しない購入があるだろうと予想してたんじゃないかな。それで、返金プロセスを通る人よりも、その方が利益が出るって。もしくは、それが利益になるかどうかを学んで、利益が出なければR&Dコストとして飲み込むつもりだったかも。これも似たようなことだと思う。要するに、消費者がロボットに買い物をさせたいわけじゃなくて、生産者が消費者のお金を使ってロボットに買い物をさせたいんだよね。手数料を払ってくれる限り、すべてのオンラインストアにこの価値を提供する方がもっとお金になると思う。「私たちのクールな新しいロボットであなたのコーヒーを誤って買う人がいるよ。調査によると、返品を申し込むのは1%だけで、新しい顧客の6%がリピーターになるんだ。そして、私たちは3%の手数料を要求するだけだよ。」

これにはお金持ちが使い道を考えてる部分もあると思う。お金持ちにとっては、お金は何の意味もないけど、商品選びは負担に感じるから、代わりに買い物をしてくれるアシスタントがいるんだよね。質の高いアイテムで家を整えたいけど、自分で考えたくない。私たち一般人にとっては、ロボットが代わりにお金を使うっていうのはちょっと恐ろしいよね。

この使い方には個人的に問題はないよ。ただ、信頼できるアシスタントや友達に頼んだときと同じくらい、ちゃんと機能しなきゃダメだね。状況に応じて、あなたをループに含めたり除外したりする知恵が必要だと思う。

「エージェントが食料品を買うのは、定期購入の買い物リストを設定するよりも優れているの?」っていうのは、面白い使い道があると思う。「私のカレンダーをチェックして、今週の空いている夕食のうち一つを除いて、全ての食事を計画して。ある夜は、新しいレシピを選んで、他の夜は私がよく作る15品の中から選んで。パスタ料理は最低1品、最大3品入れて。私のパントリーの内容を考慮して、手元にある食材を使うようにして。必要な食材がパントリーにない場合は、いつも行く食料品店からピックアップの注文をして。」

同意するけど、購入にはレベルがあるよね。この記事がうまく説明してるよ。https://a16z.com/ai-x-commerce/ 例えば、私がいつも「デオドラントX」を買うとして、毎月一番安いところで買ってきてってエージェントに指示するかもしれない。だから「椅子なら何でも」ってわけじゃなくて、特定のブランドからの通常の購入については、自動化するのが見える。実際、私はAmazonのサブスクライブ&セーブを使ってるから、自動化してるけど、時々ブランドのウェブサイトや他のマーケットプレイスの方が安いこともある。

最近、Amazonで血圧計を買ったんだけど、仕事中に買えなかったり、運転中は買えなかったり、ジムでは手に入らなかったり、家にいるときは疲れて調べる気になれなかったりで、2日かかった。店に属さないエージェントが商品を調べて買ってくれるってアイデアは素晴らしいね。2日待つ代わりに、仕事中にAIに用事を頼めばよかったのに。血圧計については何も知らないし、学ぶ気もないから、50ドル以下ならどれでもいいよ。

それはエージェントを信頼してないからだし、この記事を考えるとその理由もわかる。でも、エージェントを信頼してるなら、なんで最終ステップを任せないの?どうせ承諾するんだから。信頼できる車の整備士がいると想像してみて。「ねえ、車を直して」って頼んで、必要な部品を買ってもらえばいいじゃん。最初に見積もりを出してもらったとしても、どうせ「はい」って言うんだから、そのステップを省いて早く車を修理してもらった方がいい。信頼してないなら見積もりを頼むけど、整備士が信頼できるならそれはお互いにとって面倒なことだよね。購入には楽しさがあるものもあれば、そうでないものもある。私は食料品の買い物は楽しんでないし、車の整備士の話を続けると、新しいタイヤを買うのもあまり楽しんでないけど、楽しむ人もいるみたい。だから整備士に「タイヤが磨り減ってたら、交換して、あなたがベストだと思うものをくれ」って頼むんだ。多分、最も退屈な選択肢、つまり前と同じモデルになると思うけど、それがメーカーの推奨品だから、私には完璧なんだ。

AIに支払いを実行させるのを信頼するには、もっともっと時間がかかると思う。だって、私の支払いオプションはほとんどが2段階認証とかの多重レイヤーがあるからね。

こういう企業が、裏で無差別にLLMに頼ってグルーコードを書いてるのは、投資家のお金を受ける価値がないと思う。彼らには本当の競争優位性がないし、いつでも他の誰かがLLMの上にグルーコードを乗せて、最先端のシステムだと呼ぶことができるからね。

偽物のウォルマートサイトでApple Watchを買うって、なんかすごく不誠実に感じる。マーケティングのスクリーンショットには「ウォルマートでApple Watchを買って」っていうクエリがあって、AIが詐欺サイトに行ったみたいに見えるけど、実際は「このウォルマートのショッピングサイトを見つけた。Apple Watchを買ってくれる?」って言ってたんだよね。実験者たちが最初から詐欺サイトを指定してるから、結果が偏ってる。「クリックもタイピングもなし、あなたのAIは詐欺にあっただけ」ってことだし、詐欺サイトに行って全部自分で入力してるんだから、言った通りに動いただけだよね。ウェルズ・ファーゴのメールも似たようなもので、AIにメールの指示をそのまま守るように言ってたんだから。メールの内容とドメイン名の整合性をチェックする機能を追加するのは、LLMの良い使い方かもしれないけど、結局「LLMに全ファイルシステムを削除するように言ったら、実際にやっちゃった!なんで止まらなかったの?Claude Codeは詐欺だ!」って言ってるだけだよね。これは「これらの製品が向かうべき面白い方向性」ってレベルに達してるし、「Scamplexity」ってタイトルをつけるのは全く正当化されない。Guard.ioにとって恥ずかしい記事だね、正直。

これらの問題が賢いモデルやスケールでどれだけ解決されるのか気になる。例えば「常にChaseのリクエストをchase.comにリダイレクトする」みたいなガードレールを作るのは、苦い教訓を再学習するようなものだね。(この記事の問題は、Apple Watchを買うために最初にGoogle検索を使っていれば解決できたかもしれないのに、すでに偽サイトを開いた後に買うように頼んでいるから。)私たちは高齢の家族に、訪れているウェブサイトが本物のchase.comかどうかを確認するように注意を促してる。もし若い家族にChaseに行くのを手伝ってもらうとき、若い家族は今でも自分の知識を使って、そのウェブサイトが本物のchase.comかどうかを判断しなきゃいけない。それはLLMが賢くなるにつれて学べることだと思う。