ハクソク

世界を動かす技術を、日本語で。

Google、調査で危険な欠陥が発見されたためAI健康サマリーを削除

2026年1月13日原文(arstechnica.com)

概要

Googleの AI Overviews は、上位表示されたウェブサイトの情報を要約する設計に起因する 誤り が多発。 SEO目的の 低品質コンテンツ やスパムが原因で、信頼性に欠ける情報がAIに渡る。 AIは 権威的な口調 で誤情報をまとめ、利用者を誤解させる危険性。 正しい情報源からでも、AIの 言語モデル が誤った結論を導く場合がある。 Googleは品質管理を強調するが、 問題は依然として残存。

AI Overviewsの設計上の問題点

  • Google はAI Overviewsを、 ページランク上位 のウェブ情報を根拠に要約する仕様で開発
  • 上位表示の前提に「 信頼性 の高いページが上位に来る」という仮定
  • ページランクアルゴリズム は、長年SEO対策やスパムコンテンツに悩まされている現状
  • 信頼性の低い情報 もAIモデルに入力され、 権威的な要約 として出力
  • 利用者が 誤った情報 を信じやすくなるリスク

AI Overviewsの信頼性と限界

  • 正確な情報源 からでも、AIの 言語モデル がデータを誤解釈し、 不正確な要約 を生成
  • AI Overviewsは 本質的に事実の正確性を保証しない 設計
  • Googleのアルゴリズムが高評価したウェブサイトの 誤りや不正確さ もそのまま反映
  • 権威的な表現 で事実を述べるため、 誤りも信頼できるように見える

問題が継続する事例

  • The Guardian によると、検索クエリを少し変えただけでも AI Overviewsが表示 される現象
    • 例：「lft reference range」「lft test reference range」など
  • AI Overviews内で 太字で検査値リスト が示され、読者が誤った数値に気付きにくい懸念
  • Googleは「 信頼できる情報源 へリンクし、必要時は専門家への相談を促している」と説明
  • AI Overviewsは自信の高いクエリのみ表示 と主張し、常時品質評価・見直しを実施

過去のAI Overviewsに関する論争

  • AI Overviewsは以前にも ピザに接着剤を塗る、 石を食べる などの誤った助言を表示
  • 利用者の間で不評となり、 検索クエリに罵倒語を入れるとAI Overviewsが無効化 される裏技が拡散
  • 信頼性や安全性への懸念 が継続

Hackerたちの意見

「危険で驚くべき」って感じだね。医療は変革が必要だけど、他の分野とは違って、リスクは命に関わるからね。医療は人間が関与するアプリケーションに焦点を当てて、人間の生産性を大幅に向上させることが重要だと思う。置き換える前にね。

└

医療は「変革が必要」ってどうして？

Arsが元の報道をパクったけど、「some」をタイトルから抜いたせいで、さらに悪化してる。「危険で驚くべき」：Googleがユーザーの健康が危険にさらされた後、一部のAI要約を削除した。

└

「some」を削除しても悪化しないよ。「all」AIタイトルを含めてないからね。「Googleが危険な欠陥を発見した後、AI健康要約を削除」ってのは、「Googleがユーザーの健康が危険にさらされた後、一部のAI要約を削除」っていうのと実質的に同じだし。あ、あと、Arsの記事自体には「Some」って単語がまだ含まれてるよ（私のABテストで）。HNの見出しがそれを抜いてるだけだから、君の文句は全く無効だね：「Googleが危険な欠陥を発見した後、一部のAI健康要約を削除」

良かった。自分が服用している薬を検索したら、Googleの「AI」要約はほぼ犯罪的だった。WebMDのサイトには正しい情報が載ってたし、製造元のウェブサイトも同様だった。Googleは色々なことを妄想してて、その時点で、健康や医療情報に関してLLMが適当なことをするのはやめさせるべきだと感じた。

└

s/hallucinated/fabricated/にしてくれ。

└

これはどんな薬？いつも良い情報をくれるんだけど。

驚かないよ。もう一つの例はマインクラフト関連の検索だね。特定のウィキページに行くつもりで検索してたけど、要約を読むだけになっちゃった。ファンフォーラムで話し合われている機能やアイデアと、実際のゲームのバイブルであるminecraft.wikiを混ぜてしまうから、真実の情報源とファンタジーの情報源が混ざって、めちゃくちゃ不正確な要約が出てくる。

└

ゲームに関しては難しいよね、特にMinecraftみたいに頻繁にアップデートされるやつは。OSRSでも似たような問題があった。古い情報や、関係ないリーグ/イベントの情報が入ってくるんだよね。結局、すごく整理されたウィキを見に行く方が楽。

└

私は、必要なアイテムを2つのサプライヤーのうちの1つから購入する小さなビジネスを運営してるんだけど、そのサプライヤーのウェブサイトの検索機能がクソなんだ。Googleで調べる方が早い。AIの要約があるおかげで、結果の半ページをスクロールして、トルコの石油会社に関するナンセンスを見なきゃいけないのが本当に嫌だ。ちょっとした不便なんだけど、すごくイライラする。まるで痛い歯みたい。

└

私にとって面白いのは、こういう行動――信頼性や信用性が大きく異なる広範な議論をちょっと混ぜ合わせること――が、AI研究の一番の魅力の一つだと思うんだよね。私は元の情報源を読むのは得意だけど、何があるかを直感で感じるのが難しいことが多い。あいまいなアイデア（「誰かがこれをやったに違いない」みたいな）を間違った専門用語や不明瞭な説明で検索することがあるんだけど、AIがそれをうまく理解して、私が考えたアイデアについて話している人たちを指し示してくれる。時には変な人たちで、アイデアが間違っていることもあるけど、検索結果からプレイヤーや使われている専門用語、関連する論争などがわかるんだ。それを元に進められるけど、AIがなければ「これが存在するはず」と「すでにこれを正しくやった人がいる」までの道のりは実際に長いんだよね。

└

それとも、Microsoftの「Merl」サポートエージェントがMinecraftに関することは何でも知ってるって言って、基本的にどんなゲームプレイの質問にも「それはわからない」って返すアプローチを取ることもできるよ。

Hacker Newsで議論の続きを見る