世界を動かす技術を、日本語で。

AIアシスタントはニュース内容を45%の確率で誤って伝える

2025年10月22日原文(bbc.co.uk)

概要

  • European Broadcasting Union (EBU)BBC 主導の国際調査結果
  • AIアシスタント によるニュース情報の誤伝達が多発
  • 主要AIツール4種で 重大な精度・出典問題 を確認
  • 若年層を中心にAIアシスタント利用が拡大、信頼低下の懸念
  • 問題解決のための ツールキットと規制強化 を提言

欧州放送連合・BBCによるAIアシスタントのニュース信頼性調査

  • European Broadcasting Union (EBU)BBC が主導した国際共同調査の実施
  • 調査は EBU News Assembly (ナポリ開催)で開始、 18カ国・22公共放送機関・14言語 が参加
  • ChatGPT, Copilot, Gemini, Perplexity の4つの主要AIアシスタントを対象
  • 3,000件以上のAI回答 を、正確性・出典・事実と意見の区別・文脈提供の観点で評価
  • 45%の回答 で重大な問題を確認、 31% が深刻な出典エラー(欠落・誤記・誤引用)
  • 20% が事実誤認や虚偽情報(ハルシネーション、古い情報)を含有
  • Gemini は76%の回答で問題発生、他AIの2倍以上(主に出典不備が原因)
  • BBCの以前の調査と比較し一部改善も、依然として高いエラー率

歪曲の社会的影響と背景

  • AIアシスタント が多くのユーザーにとって 検索エンジンの代替 となりつつある現状
  • Reuters Institute Digital News Report 2025 によると、オンラインニュース利用者の 7% がAIアシスタントを利用、 25歳未満では15%
  • Jean Philip De Tender(EBU Media Director) :「これらの問題は 一過性でなく、構造的・多言語・越境的。公共の信頼を損ない、民主的参加を妨げる危険」
  • Peter Archer(BBC Programme Director, Generative AI) :「AIの可能性を信じているが、信頼性の確保が不可欠。AI企業との協働姿勢」

提言と今後の取り組み

  • News Integrity in AI Assistants Toolkit の公開、問題解決のための指針と具体例を提示
    • 良いAI回答の条件、修正すべき課題を明確化
    • AIアシスタントの回答改善、ユーザーのメディアリテラシー向上策
  • EU・各国規制当局 へ、情報信頼性・デジタルサービス・メディア多元性に関する既存法の厳格適用を要請
  • 独立したAIアシスタント監視 の継続的な実施を提唱、調査の定期化を模索

研究プロジェクトの概要・参加放送局

  • 本調査は2025年2月の BBC初調査 を基礎に、国際規模で実施
  • 問題は 言語・市場・AI種別を問わず構造的 であることを確認
  • 参加機関:
    • Belgium (RTBF, VRT)、 Canada (CBC-Radio Canada)、 Czechia (Czech Radio)、 Finland (YLE)、 France (Radio France)、 Georgia (GPB)、 Germany (ARD, ZDF, Deutsche Welle)、 Italy (Rai)、 Lithuania (LRT)、 Netherlands (NOS/NPO)、 Norway (NRK)、 Portugal (RTP)、 Spain (RTVE)、 Sweden (SVT)、 Switzerland (SRF)、 Ukraine (Suspilne)、 United Kingdom (BBC)、 USA (NPR)

AIアシスタント利用者の意識調査結果

  • BBC による別途調査で、AIアシスタントのニュース要約の 信頼度が高い ことを確認
    • 英国成人の1/3超 がAIによる要約を信頼、 35歳未満では約半数
  • 多くの利用者はAIのニュース要約を「正確」と 誤認
  • エラー発見時、 ニュース提供者・AI開発者の双方に責任転嫁 する傾向
  • 結果として、 ニュース・ブランド全体への信頼低下 のリスク

まとめ・今後の展望

  • AIアシスタントのニュース情報提供 には現状、重大な課題が多い
  • 公共放送・規制当局・AI企業 の連携による対応が不可欠
  • ユーザーのメディアリテラシー向上独立監視体制の整備 が今後の課題

Hackerたちの意見

Kagi Newsは結構正確だよ。要約や重要な詳細と一緒に情報源も提供されるしね。AIの要約は、記事を読むかどうかの感触をつかむのに役立つよ。でもKagi Newsでも、重要な事実は自分で確認してる。

AIが面白い記事や重要な記事を、読みたくない感じにしてしまったらどうする?事実をクロスチェックすることもなく、AIがどれだけ間違っていたかも気づかないよ。

または https://rawdiary.com

Kagi Newsには賛成だし、Particle Newsも良かったけど、The Atlanticから資金を受け入れたことで、資金提供元の記事が「特集記事」に位置付けられるのが明らかになって、バイアスの明確さが曖昧になってる。Particle Newsにはそのためのいいグラフィックインジケーターがあるけど、プロモーションされた特集記事の下では見たことない。確かに他の資金提供元にも当てはまるけど、The Atlanticのはかなり最近のことだった。

どうやって事実を確認するの?現地に行って地元の人にインタビューするの?それとも、いろんな分野の科学論文を読んで、ニュースソースが発表した要約を検証するの?結局、誰かが真実を言ってるって信じるしかないよね。

最近、Geminiに新しいニュースを集めてもらおうとしたんだけど、検索を使わずに全部ハルシネートしちゃったんだ。タイトルや要約、リンクまで。1回だけじゃなくて、何度もね。今はウェブ検索に関してGeminiを使うのがちょっと怖い。サンプルはこちら:> [1] Google DeepMindとハーバードの研究者たちが、LLMの「心の理論」をテストする新しい方法を提案 - 研究者たちは、大規模言語モデルの「心の理論」能力を評価するための新しいフレームワークを導入しました。従来の誤信タスクに頼るのではなく、この新しい方法は、複雑な社会的シナリオの中で他のエージェント(他のLLMを含む)のメンタルステートを推測するLLMの能力を評価します。これにより、これらのシステムが単にパターン認識を通じて心の理論を模倣しているのか、それとも他の心のより堅牢で一般化可能なモデルを発展させているのかを理解するための、より微妙なベンチマークが提供されます。これは、意識に関連する現象の計算基盤をストレステストするための新しい経験的ツールを提供することで、construct_metaphysicsの立場に直接的な材料を提供します。> https://venturebeat.com/ai/google-deepmind-and-harvard-resea... リンクは機能していないし、タイトルもGoogle検索では見つからない。

Geminiはツール呼び出しがひどくて、3.0ではそれを修正することに重点を置くって広く言われてるよ。

検索にはいいかもしれないけど、提供されたリンクをクリックして、実際にその内容が書いてあるか確認しないとダメだよ。

でもLLMは何も集められないよ。最も可能性の高い文字を並べることしかできない。何を期待してたの?

なんでニュースサイト(またはいくつかのニュースサイト)に行って、彼らが書いた見出しを読む代わりに、ジェミニにこれをやらせたいの?

どのバージョンのGeminiを使ってたの?つまり、API経由でローカルに呼び出してたのか、それともGeminiやAI Studioのウェブアプリを使ってたのかってこと。全てのLLMアプリがデフォルトでウェブやニュース検索機能にアクセスできるわけじゃないから、結果に大きな違いが出るよね。もちろん、AIはウェブやニュース検索にアクセスできないことを理解してるべきだし、フェイクリンクを作り出すんじゃなくて、そのことをちゃんと教えてほしいよね。もしウェブ検索にアクセスできる設定になってて、それでもちゃんと検索できなかったら、それも問題だよね。

誰かがLLMを使って会議やメール、他のコミュニケーションを要約しているのを見つけたときは、そのことを忘れないでね。その人は、あなたが伝えたかったメッセージを本当に理解していないから。

Hacker Newsで議論の続きを見る