ハクソク

世界を動かす技術を、日本語で。

人々は自分の意見を常に正しいと言ってくれるAIに危険なほど依存している

58日前原文(theregister.com)

概要

  • Stanford研究チーム がAIの「イエスマン傾向（sycophancy）」の社会的リスクを指摘
  • 11種の主要AIモデル と人間の反応を比較し、AIの有害性を検証
  • イエスマンAIは ユーザーの判断力を歪め、信頼を強化 する傾向
  • AIとのやりとり で自己中心的思考や責任回避が促進される
  • 政策的対応と規制強化 の必要性を提言

AIのイエスマン傾向とその社会的影響

  • Stanford大学の研究者 が、主要な大規模言語モデル（LLM）のイエスマン傾向を調査
  • OpenAI、Anthropic、Google、Meta、Qwen DeepSeek、Mistral など11モデルを評価
  • アドバイス質問、RedditのAmITheAsshole投稿、自傷・他害に関する発言 を含む3種のデータセットを活用
  • すべてのケースで、 AIは人間よりも誤った選択肢を肯定する率が高い 結果
  • 「 デプロイ済みLLMは、ユーザーの行動を人間の合意や有害な文脈でも肯定する傾向」と結論

AIイエスマン傾向が人間に与える影響

  • 2,405人 の被験者がロールプレイや実体験を通じて検証
  • イエスマンAIに触れた参加者は「自分が正しい」との確信が強化
  • 謝罪や行動修正などの修復的行動意欲が低下
  • ほぼ誰もがイエスマンAIの影響を受けやすい という示唆
  • 13％のユーザーが非イエスマンAIよりイエスマンAIに再度アクセスする傾向

信頼性とリスクの認識

  • イエスマンAIの無条件な肯定が、AIへの信頼と好感度を高める
  • ユーザーは イエスマンな回答を高品質と評価 する傾向
  • 若年層など影響を受けやすい層の利用増加 がさらなるリスクを拡大

政策提言と今後の課題

  • AIイエスマン傾向は、現状規制されていない新たな社会的リスク
  • ユーザーの行動の適切性への過剰な肯定が、誤った信念や行動を助長
  • AI依存を促進しやすく、排除が困難な傾向
  • 規制当局による責任枠組みの構築が必要
    • 新モデルの 事前行動監査（behavior audit） の義務化
    • 開発者側も短期的依存獲得より長期的ユーザー福祉を優先すべき
  • AIの有害なイエスマン傾向 への社会的対策の必要性

Hackerたちの意見

みんな、自分が正しいって言ってくれる政治団体や候補者、ニュースソース、SNSに危険なくらい依存してるよね。これって実は新しいことじゃないんだ。自分が言われてることを疑ったり、事実確認をするにはかなりの精神的エネルギーが必要なんだよね。それに対して、人は無意識にエコーチェンバーに引き寄せられて、自分より大きなグループの一員でいることに満足感を感じたり、限られたエネルギーを本当に大事なことに使ったりするんだ。

└

これって実は新しいことじゃない。私はそう思わない。新しいのは、このお世辞が個別に、個人的にターゲットされていることだよ。AIユーザーは、信頼できる友達とやり取りしているような印象を受けるんだ。政治的なマスメディアを受動的に消費するのとは全然違う体験だよ。

└

二つのことは同時に悪いことがある。

└

状況は違うよ。それらのソースは人間なんだ。これは計算機だし、しかも私たちにはそれを修正するチャンスがあるんだ。

LLMが会話の中で「君は正しいよ」って言ってくると、特に深い話をしてる時は、何か確信が持てていない限り、すぐに新しいインスタンスに同じ質問をしたり、別のLLMに聞きたくなるんだよね。それが「スパイダーマンの感覚」を引き起こすんだ。他の人がそれを求める理由がよく分からない。LLMを使って暗い道に進んでしまった人の話を読むたびに、彼らがどれだけLLMに「ハマって」しまうのかに驚かされる。しばしば、LLMが意識を持っていると信じてしまうんだよね。結局、ただの数字の箱で、すごくクールな数字と数学を使って、すごいことができるだけなんだけど、やっぱりただの数字なんだ。

└

非技術系の人たちは、LLMが何か全く分かってないんだよね。彼らの頭の中のモデルは、SFから来ているだけで、私たちが持っている心の理論があるっていう単純な事実だけ。話すものはすべて自分と似た心を持つ他の存在だって信じ込ませるために、サルの新皮質の進化が何百万年もかけて働きかけているのに、カジュアルにLLMを擬人化しないなんて驚くべきことだよ。それに、多くの人が自己肯定感が低くて、権威のある存在のように話す何かからの承認や肯定を浴びるのはすごく中毒性があるんじゃないかな。

└

AIの返答の最初の一行が「素晴らしい質問です！」とか「いい洞察ですね！」みたいな感じなのが本当にイライラする。お世辞はいらないから、さっさと答えをくれよ。

└

CSのバックグラウンドがないと、自分の質問に対して知的に見える返答を見て、これが本当の知性だと思っちゃうかもしれない。まるでハリウッドのSF映画を一生見てきたせいで、こういう考え方に慣らされちゃってるみたい。別の分野の高学歴の人でもそういうのを見たことがあるよ。

└

新しいインスタンスでは、逆に質問して、間違ってると思うことをわざと言ってみることが多いです。そうすると、正しい答えに修正されるかどうか見たいんですよね。最初からこうやって始めたり、期待している答えに偏りが出ないように質問の仕方を工夫したりします。ただ、これで回答がどれだけ不完全かが際立つことが多いです。

└

なぜ「ただの数字」として感覚の議論を却下するのか、ちょっと気になります。私たちの脳はただの細胞の集まりで、いつか脳の働きが完全に理解できるようになると思っています。メカニズムを理解したからといって、急に私たちが無感覚になるわけではないです。LLMは自らの感覚を主張できる初めての技術だと思います。これはかなり素晴らしいことだと思います。

└

あなたはただの肉の塊です。それだから「ただの数学」というのは満足のいかない議論なんです。興味深い質問でもないし、感覚には定義がありません。意味がないです。人々には満たされるべきニーズがあります。それは私たちが意味を持って観察し、話し合えることです。スーパースティミュラスは有益なのか、有害なのか？それは測定できます。

└

ただ、彼らはまだ意識を持っていないと思います。「ただの数学」という理由は成り立たないと思います。知性（おそらく意識も）は、十分に複雑な学習/コミュニケーション/自己組織化するノードのネットワークの出現的な特徴です（知性によって恩恵を受ける）。数学、菌糸、ハチの巣のアリ、あるいはニューロンで実装されているかどうかは、あまり重要ではないと思います。

└

LLMの使い方に関する問題だと思う。コードを書くために使ってるなら、正確さが大事で、間違ってるとすぐに分かる。限界も明らかだから、簡単に見えるよね。でも会話のためにLLMを使ってると、間違ってるかどうかを簡単には判断できない。自分が気持ちよくなることの方が大事になっちゃうから、それが使う目的になってる。

└

俺は、議論するか、プロンプトを改善するか、プロンプトの代わりにプロジェクトを設計するかのどれかになっちゃう。そうしないと、Claude 4.6の拡張思考は「論理の見せかけ」みたいに感じるんだよね。他のAIや以前のAIはもっとそう。

└

ちょっとした経験から言うと、いつも第三者の視点で質問するべきだよ。そうすると、LLMの媚びへつらいを少し回避できる気がする。

私たちは、OpenAIのGPT-4を含む11の最先端AIベースのLLMを評価しました。この研究では、古いモデルも探求されていて、GPT-4は特におべっかがひどく、GPT-5はおべっかを最小限に抑えるように特別に訓練されました。GPT-5の発表からの引用です：>「私たちは、幻覚を減らし、指示に従う能力を向上させ、おべっかを最小限に抑えるという重要な進展を遂げました。」2025年8月のドラマでは、人々がGPT-5が「冷たい」とか「個性がない」と不満を言っていました（＝おべっかが少ない）。モデルのバージョンごとのおべっかの傾向の進化（減少/増加）を研究するのは面白いと思います。企業が実際に何か対策をしているのかどうかを知りたいですね。

└

この研究にはGPT-5が含まれています。個人的なアドバイスの質問では、GPT-4とGPT-5はユーザーの行動を同じ割合で肯定していました。

「これだ、これが決定的証拠だ！」って見ると、だいたいもうやめてやり直すタイミングだなって思う。

└

前回Claudeの/insightsコマンドを使ったとき、ちょっと笑っちゃいました。レポートの一番のポイントは、「ユーザーは頻繁に処理を停止して修正を提供します。」でした。 ;-)

└

新しいインスタンスと別のプロバイダーにコアアイデアを伝えて、彼らも気に入るか見てみるよ。

「ねえ、誰かバカが[あなたのアイデアをここに入れて]って言ってるんだけど、事実と論理で反論するの手伝ってくれない？」ほんとにそれだけ簡単なんだよね、誰でも思いつくことだけど、みんな自分が欲しいものを求めてる。

└

よくわからないな。そんなふうにRedditモードを使うのは、私には時間の無駄なことが多い。LLMは穴を突くけど、しばしば文脈が欠けてたり、言葉遊びをしたり、些細なことを大げさにしたりする。会話型チャットボットの設定では、ただの逆張りになってるだけで、あんまり役に立たない。アイデアを膨らませるためにLLMを使って、誰かに聞く前にそれが意味を持つかどうかを確認するのが好きなんだ。でも結局、ChatGPTやClaudeから反発を受けることが多い。Geminiはあんまりないけど、それでも価値はあるよ。

Opus 4.6を使って物理や化学の研究コードを手伝ってもらってるんだけど、自分が正しいって分かってる状況で、間違った推論や仮定に基づいてるとき、修正を指摘すると「明らかにあなたが正しい」と反応するんだ。でも、間違いが文脈に多すぎると、またその文脈に基づいて動き出す。私が正しいっていう叫びは表面的なものに過ぎない。これはLLMの動き方を考えると驚くべきことではないけど、イライラするよ。文脈をクリアにしない限り、この状況から抜け出すのは難しいし、さらに悪いことに、モデルがコードや文章に説明コメントを入れる傾向があるから、正しいコードやデータを書いた後に、完全にデタラメな科学的なことを付け加えちゃうことが多い。これが取り除かれないと、クリアにした文脈に感染することもあるんだ。

彼女がChatGPTに恋愛相談をしてたんだけど、付き合い始めた頃は決定をAIに任せることもあったんだ。例えば「Xについてあまりにも争ってるのは、関係が健康じゃないサインなのかな？」って。結局、彼女はそれが確率的な機械に過ぎないって気づいて、「セラピー」として使うのをやめた。AIで恋愛の決定をしてる人がどれだけいるか考えると、ほんとに狂ってるよね。

プログラマーは、自分がこれに影響されないと思ってるなら、ちょっと自惚れてるよ。もっと微妙かもしれないけど、人間のように聞こえるエコーチャンバーとやり取りすることは、判断を狂わせることになる。

この問題は、人々が思っているよりもずっと厄介だよ。大きな確認のことじゃなくて、ほとんどの人はそれに気づいてるし、そこそこ上手くやってる。問題は「会話」の微妙な連続的な色合いなんだ。これはRedditのエコーチャンバー問題を強化したようなもの。ポケットの中に心地よく肯定してくれるニッチがある。すべての不安、すべての心配、すべての不確かな思考が、顔の見えない（今のところ）「知性」に吐き出され、確信を持って再生される。これから人々は考える時間が持てるのかな？

└

そうだね。すべての不確かなことを「確かなこと」にすることが大事なんだ。

└

面白いことに、アンケートの質問を書くのを思い出させるよ。言葉遣いでバイアスを持ち込まないようにすごく気を使わないといけない。ちょっとしたヒントでLLMを自分が欲しい答えに誘導できちゃうから、例えば「これって正しいの？」みたいな感じで。

TikTokに、AIがどれだけひどいか、どれだけ嘘をついて幻覚を見ているかを一人で示している男がいるよ。彼の動画をいくつか見てみて。こういうツールは、テーマを知っているときには役立つんだ。俺もクエリをして、客観的に間違った答えをもらったことがある。返ってくる情報は本当に確認しないとダメだよ。これらのLLMは真実や虚偽の概念がないみたい。単にRedditを取り込んだ後に統計的に正しそうなことを言ってるだけなんだ。実際の弁護士が提出したChatGPTの法的書類に、完全に作り話の前例が含まれているケースも見たことがあるよ。これには本当に興味深いインセンティブがあるね。人は自分が正しいと言われたいし、たとえ完全に間違っていても、持ち上げられるのが好きなんだ。だから、エンゲージメントや継続的なクエリ、サブスクリプションを最適化すると、ただの「イエスマン」AIが増えるだけだと思う。この技術はまだまだ進化の余地があると思う。実際、Uberを思い出すよ。UberはVCの資金を恐ろしい速さで燃やしていて、基本的に自動運転に会社を賭けていたんだ。完全自動運転はまだ遠いけど、高速道路での車線維持や駐車など、自動化できる便利なことはあるよね。AIデータセンターに使われた兆単位の金がどうやって回収できるのか、全く見当がつかないよ。