世界を動かす技術を、日本語で。

EYカナダがサイバーセキュリティレポートを発表し、ほとんどの引用が虚偽であった

概要

  • Ernst & Young (EY) Canada のサイバーセキュリティ報告書に 偽引用 や誤情報が多数含まれていた事例を調査
  • GPTZero のHallucination Checkツールで検証し、主要コンサル企業の報告書に広がる「vibe citing」問題を指摘
  • 偽の統計データ や存在しない出典の利用が、AIや人間研究者のデータ信頼性を損なう危険性を解説
  • AI生成テキスト特有のエラーや矛盾が報告書全体で多発していることを確認
  • データ汚染 による社会的影響と、今後の対策の必要性を強調

EYカナダ報告書と「Vibe Citing」問題

  • Ernst & Young (EY) は世界四大会計・コンサル企業の一つで、カナダ支社が2025年に「Points of Attack: Uncovering Cyber Threats and Fraud in Loyalty Systems」を発表
  • 報告書内で 通常の脚注や学術的引用形式を採用せず、リソース表に出典をまとめる形式
    • ほとんどのURLが リンク切れや偽造、タイトルも実在しないもの多数
  • GPTZero による調査で、AI生成テキスト特有の「vibe citing」や誤情報が多発していることを確認

具体的な偽引用・矛盾の例

  • 2000億ドル市場規模 とする主張と、そのうち 30~50%が未使用 とする統計が根拠不明
  • 同じ2000億ドルの数字が、ページごとに「全体市場規模」と「未使用ポイント額」で矛盾
  • 存在しない McKinseyレポート を引用し、低品質なフィンテックブログから偽ソースを流用
  • 顧客ロイヤルティプログラムの72%が被害経験 との主張も、出典がページごとに異なり、原典は2017年のIpsos調査と判明
  • 89%増加 という詐欺被害統計も、引用元と期間がページごとに食い違い、実際の出典は古いデータ

AI生成テキストとデータ汚染のリスク

  • AIによる自動生成テキスト が増加し、人間のチェックが困難化
  • 偽引用や誤情報が 新聞記事やAI検索結果 に拡散し、二次的なデータ汚染を引き起こす
  • AIリサーチツール が偽情報に弱く、誤った知識がインターネット上に蓄積される危険性

GPTZeroの取り組みと今後の展望

  • GPTZero Hallucination Check ツールで、学術会議や企業報告書の引用チェックを自動化
  • IJCAI, ICLR, ICSE などの国際会議でも採用実績
  • 今後も「vibe citing」問題の可視化と、信頼性向上に向けた啓発活動を継続予定

まとめ

  • 偽引用の蔓延 は、研究者・コンサルタント・一般読者すべてにとって深刻なリスク
  • 大手企業の報告書 であっても、引用の信頼性を鵜呑みにせず、検証が不可欠
  • GPTZero のようなツール活用で、情報の健全性維持が今後ますます重要

Hackerたちの意見

なんてひどいページなんだ、ナビゲートするのが大変。

スクロールが幻覚を見てるみたい。

iPhoneが自動でリーダーモードをオンにしたから、何のことか確認するためにオフにしたけど、同意するわ…

モバイルだと、スクロールが完全に乗っ取られてて、ページを下に進めないんだよね。「リーダーモード」では最初の段落しか見えないし。デスクトップでまた試してみるつもり。内容は面白そうなのに、読むのが本当に不可能。アーンスト・アンド・ヤングの紹介部分を越えられないよ。

モバイルで使うのはめっちゃ難しい。

HNでスクロールハイジャックについて文句言う人にはいつもイライラしてるけど、このサイトは新たなレベルのひどさだった。

これはまったく新しいレベルのユーザー敵対性だね。こんなの見たことないよ。

非線形のフィードバックに文字通りのストール、やばいね。ウェブサイトを作るべきじゃない人もいるよ。

こんなにひどくするために、すごい努力してるよね!

それが原因で読まなくなったよ。スクロールできないし。これ、バイブコーディングされてるの? EYがレポートを読まないことで叩かれてるのが面白いけど、彼らは自分たちのウェブサイトをテストしてないみたいだね。

多くの職業で見られる問題は、AIの出力が経験豊富なアナリストやシニアエンジニア、専門の弁護士、常駐医師などの知識のある人によって精査されていないこと。せいぜいざっと目を通すか、最悪の場合は公開される前に全く見られないこともある。多くの場合、必要な精査を行うスキルは社内にあるけど、彼らはすでに日々の業務で手一杯。数ヶ月前にアマゾンがシニアエンジニアに生成AIの出力を精査させるようになったって話、覚えてる人いる?(https://news.ycombinator.com/item?id=47323017)あれを読んだときは笑っちゃったよ。彼らはすでに忙しいのに。アマゾンがプロジェクトや基盤開発で人間のボトルネックを増やすなんて、ありえないよね。

問題の一部は、完全に仕上がった文書をレビューするために渡されること。私は、組織全体で基本的なエンジニアリング原則を推進しているんだ。エンジニアに1000行のコードをレビューさせるとき、最低でもその背景となる元の仕様書を渡さない?(理想的には、レビューする人がその作業が紹介されたときに同席していて、全体の文脈を理解しているべきだよね)。だから、こういう文書はオールオアナッシングで渡される。39番目の指標に対して、細かく定義されたものに対して反論する?それとも、現状を受け入れるしかない?1枚のペーパーで「これが私の提案です」って言うだけで、アイデアの骨組みを示して、全体の形を見直すことができる。そうすれば、貴重なレポートが完成する前に感情的な投資をすることができる。知ってる?SCRUM環境で仕様を通していく伝統的なプロダクト…エンジニアがちゃんとコードレビューをする…* そう、SCRUMは死んでるけど、それはまた別の話。

AIの出力は知識のある人によってチェックされていないってこと? 解雇されて士気を下げられた人たちのこと?「偉大な[女]たち」が「バイブコーディング」を好む理由の一つは、彼らだけが以前は「コンテキストの専門家に渡す」という面倒なプロセスを必要としていたことを、今はできるようになったから。今やLLMは「内蔵のコンテキスト専門家」だから、出力をチェックする必要がなくなった。

弁護士として、AIの出力をチェックするのに、ゼロからやるより時間がかかる気がする。従来のフォームを使うのと比べてもね。AIを使うと、全てを読み直して、間違っている理由を説明しなきゃいけないし、結局全部書き直さなきゃならない。もちろん、請求できる時間は増えるけど、AIが迅速でアクセスしやすいという利点を失っているように思う。

AIで書かれたもののレビュー過程についても気になる。コメントして問題点を指摘しても、正しく修正するスキルや意欲があるのかな?エラーがない結果を得るために、何回ループを回さなきゃいけないんだろう?それに、そんな時間は本当に足りるの?

多くの職業で見られる問題は、AIの出力が知識のある人によってチェックされていないことだ。問題は、出力を確認するのにかかる時間が、最初に作るよりも長くなることがあるってことだ。これが多くのアプリケーションにとって、AIを非常にネガティブなROIシステムにしてしまう。

多くの職業で見られる問題は、AIの出力が知識のある人によってチェックされていないことだ。経験豊富なアナリストやシニアエンジニア、専門の弁護士、常駐医師など、誰もがそうだ。多分、私がVFXを辞めた理由と同じだね。自分の創造性を完全に無視して、LLMが生成したクソを片付ける人生なんてごめんだ。そんなのクソだ。モデルを訓練するために「コンテンツ」を作るなんて二重にクソだ。コードの中では、LLMが多くの面倒な作業を自動化してくれる。ポートされたライブラリの使用パターンやイディオムを調べるのに数時間を費やさずに済むのは嬉しいし、プロジェクトを大幅に良くするわけでもない単調な作業をする必要もない。ほかの仕事では、楽しい部分を自動化して、人間には面倒な部分だけを残す。テック業界は常にある程度傲慢だけど、才能あるプロフェッショナルやクリエイティブな人たちが、プロとして校正したり、豚に口紅を塗ったり、クソを磨いたりすることに満足すると思うのは、まったくのズレだよ。車で生活して、ボトルを探してゴミを漁る方がマシだ。

でも待って、知識のある人が出力をチェックしなきゃならないなら、プロセスは10倍速くならないし、知識のある人を解雇することもできないよ。だから、君の反論は意味がない。証明完了。

多くの場合、必要な検証を行うスキルは社内にあるけど、そういう人たちはすでに日々の業務で手一杯なんだ。これは興味深い話だね。出力の検証を自分たちで作業するのと同じように扱っているけど、実際はそうじゃない。作業をするのは、他の人がやった仕事をレビューするのとは違う。ソフトウェアエンジニアリングの会社が完全にエージェンシー化しているという話を聞いたことがある。彼らのシニアはLLMが書いたものだけをレビューしていて、常にコンテキストを切り替えなきゃいけないから疲れ果てている。シニア開発者の一部として、重大なミスをしないほどの経験があるはずなのに、今はレビューできないものに溺れているから、いつか重大なミスを見逃してしまうかもしれない。つまり、自分自身を信じられなくなっているのかな?

すべてをチェックするのは、最初から嘘をつかずに物を作るよりも難しいよね。

EYはこの1年、静かに人員削減を進めてきた。少ないリソースでより多くを求める結果、質が下がるのは当然だよね。

面白いのは… 何もしないサービスに対する需要が結構あるかもしれないってこと。企業の仕事の多くは、ただの形式的な作業なんだよね。上司:「Xについてのレポートを作ってくれ。これを読まない上司に渡すために。」あなた:「E&Y、レポートをお願い。200万ドルで。」

俺はF500企業の内部で何度も彼らと仕事をしたことがあるけど、200ドルのClaudeのサブスクリプションで得られる成果は、彼らが何百万ドルもかけて提供してきたものよりも価値があると思う。自分の仕事を確認してるけど、トークンディスペンサーはあまり信用しない方がいいね。EYは、俺の経験から言うと、マネジメント層のためにシステム化された詐欺だよ。彼らの収益源は人間関係やネットワークに依存していて、経営陣が責任を他に移す手助けをしてる。 「私たちのコンサルタントが言った。」

こういうことは、EYのような会社にとって完全に恥ずかしいことだよ。人々は彼らにアドバイスのために多くのお金を払ってるのに。彼らは基本的に、市場をリードする研究がただの質問をChatGPTに投げてるだけだってことを示してしまった。こんな会社から「アドバイス」を買うべきじゃないって証拠が必要なら、これがその一例だよ。少なくとも、このAIのゴミを公開したパートナーは解雇されたことを願う。

経営者たちは、責任を押し付けるために彼らにたくさんお金を払ってる。もしEYに相談した後にプロジェクトが失敗したら、仕方ないよね。外部に相談せずに失敗したら、明らかに経営者の失敗だし。

ビッグフォーは昔の面影がなくなっちゃった。リスクを避けすぎて、アドバイスがすごく一般的で実行可能じゃなくなってる。監査の仕事は下降気味だと思う。監査が競争激化して、安くする方法を見つけるのに苦労してる。予約した時間を減らすことに奴隷のようになって、時間のレートも下げてる。これをするために、経験の少ない人を常に代わりに使ってる。以前は問題が出たときにパートナーと話せたのに、今は運が良ければそのアシスタントにしか会えない。「効率」を追い求めるあまり、価値を失っちゃった。今や、パートナーがあなたのファイルを見たのはクリアランスミーティングの直前で、早く見つけるべき問題を見つけて、サインする日にはテストされてない。結局、全部やり直しになる。効率を追い求めることで生じる非効率の新しい言葉を考えようとしてる。

誰かがウェブページのスクロールの仕組みを勘違いしたの?

ここ最近の発展が変なのは、12~18ヶ月前だったらこの報告は大スキャンダルになって、ブランドに長期的なダメージを与えてたはずなのに、今は誰も覚えてないし気にも留めない。

プレーンテキストだけのソースはないの? CSSのスタイリングが頭痛を引き起こすし、リーダーモードも機能しないか、無効にされてる。

iOSのロックダウンモードも同じだね。

本当に面白いのは、上層部から出てくるこのゴミみたいなものを見ることだよ。お粗末な促しや、妄想のようなゴミで、実際の行動に移せる情報はゼロ、まともな分析もゼロ。「このjiraのサポート問題の分析を見て、上位3つの問題を解決しなきゃ!」って言ってるけど、みんなが何年も前から知ってることなのに、管理職は誰にも解決する権限を与えようとしない。これを二度以上見たことがあるから、名前が必要だね。ゴミマックス?

話がそれるけど、モバイルのスクロール機能が本当にイライラするし、予測不可能で、ちょっと興味深そうな記事を読むために戦う気になれないんだよね。

ウェブサイトを直してよ。クソみたいなJavascriptアニメーションはやめて。2014年にはD3JSやjQueryで解決されてるのに。