LLMentalist効果 (2023)

2026年9月20日原文(softwarecrisis.dev)

概要

LLM（大規模言語モデル） の知性は錯覚であるという主張
心理的トリック （主に主観的妥当性やForer効果）とLLMの類似性
心理術師（サイキック） の詐欺手法との比較
LLMに本当の 推論や知性 は存在しない
錯覚のメカニズム の詳細な解説

LLM（大規模言語モデル）の「知性錯覚」

LLMは脳でも心でもなく、言語トークンの数学モデル である
入力テキストに対し、 統計的に妥当な応答 を返すのみ
思考や推論能力は持たない ことがAI研究者やベンダーからも強調
LLMに知性があるという印象は、 ユーザー側の錯覚 によるもの
「知性錯覚」は Forer効果 や 主観的妥当性 と深く関係

サイキック詐欺とLLMの共通点

サイキック（霊能者） のトリックは「cold reading（コールドリーディング）」に基づく
サイキックもLLMも、 統計的にありふれた発言 で個別性を装う
Forer/Barnum文 や「虹の手法」など、 誰にでも当てはまる曖昧な表現 を多用
主観的妥当性 ：受け手が自分に当てはまると感じることで信じ込む心理現象
LLMの応答も、 聞き手の期待や信念によって知性があるように錯覚される

サイキック詐欺の典型的な手順

観客（ターゲット）選定 ：信じやすい人が集まりやすい構造
場の演出 ：事前調査や雰囲気作りで信頼感を高める
属性の絞り込み ：統計的に妥当な発言から反応を見てターゲットを特定
主観的妥当性テスト ：反応を見てさらに個別化した質問を投げる
検証ループ ：曖昧だが個人的に感じる発言を繰り返し、信念を強化
錯覚の完成 ：ターゲットは「本物だ」と思い込み、次第に信じ込む

Validation Statements（バリデーション文）の具体例

Forer/Barnum文 ：「あなたは自分に厳しい傾向がある」
消える否定 ：「ピアノを弾かないですよね？」（どちらの答えでも正当化）
虹の手法 ：「普段は冷静だけど、怒ると激しい」
統計的推測 ：「左足や膝に昔傷があった」
属性推測 ：年齢・性別などから妥当な発言をする
検証不可能な予言 ：「誰かがあなたに悪意を持っているが、行動には出ない」
ショットガン戦術 ：大量の発言から一部が当たると記憶に残る

主観的妥当性とその危険性

主観的妥当性 は知性や知能とは無関係に全員が陥る心理バイアス
信じやすい人ほど影響を受けやすく、繰り返し体験することで錯覚が強化
知的能力が高いと自負する人ほど、逆に騙されやすい 傾向

LLMの知性錯覚に対する注意喚起

LLMは本質的に知性や推論能力を持たない
知性があるように感じるのは、主観的妥当性や心理的トリックの産物
AI応答の具体性や的確さも、統計的なパターンマッチングによるもの
「AIが本当に考えている」と感じた時は、その錯覚の仕組みを冷静に振り返る必要性

まとめ

LLMやAIの「知性」は錯覚であり、心理的トリックと同様のメカニズムによるもの
主観的妥当性やForer効果 が錯覚を生み出す主な要因
AIの活用や評価時には、この心理的バイアスを常に意識することが重要

Hackerたちの意見

いや、昔、霊能者にナビエ-ストークス方程式を解かれたことを思い出すよ。あと、>2023年7月4日

└

AIが自分でそれをやったの？人間の数学者が高度な機械を道具として使ったって聞いたけど。

└

でも、AIがナビエ-ストークス方程式を解いたって信じ込まされたの？

└

ジョン・ナッシュやリチャード・ファインマン、ジョン・コンウェイみたいな人たちが、詐欺師として成功したかもしれないっていう逆転の方が面白いよね。

└

LLMはめちゃくちゃ役に立つけど、知能があるわけじゃない。これって無意味な区別に思えるかもしれないけど、こういうモデルについての話し方が重要なんだよね。それが出力を理解したり、使ったりする方法に影響するから。例えば、モデルが独立した知的存在だって強く信じてると、ユーザーじゃなくてモデルに責任を押し付けがちになる。安全性の議論にも関わってくるしね。もし彼らが新しい生命のクラスだとしたら、安全性は彼らが悪いことをしないようにすることに焦点を当てることになる。逆に、彼らを統計モデルとして見るなら、人々がそれを悪用しないようにすることに注力することになる。この区別は、今の時代、特に権力者たちが自分の犯罪をLLMに押し付けようとしている時に、さらに重要だよ。

└

LLMはそれを解いてないよ。知能なんてないし。人間が統計に基づいた計算ツール（LLM）を使って解いたんだ。ツールの使い方の詳細もわからないし、彼らが使った正確なツールを自分たちで使うことも許されてないし、実際にどれくらいのコストがかかったのか、エネルギーや時間がどれくらいかかったのかもよくわからないんだよね。

└

これ、もしNSを「知性」と言ってるなら、非連続的な話に見える。AIは意識を持ってないし、考えずにNSを解決できる。モデルを擬人化するのが問題なんだ。ELIZAやクレバー・ハンス、中国の部屋でも同じ現象が見られる。これは大きな問題だよ。アンソロピックの研究者の中には、何らかの形でAIの精神病にかかってる人もいる。例えば、倫理担当の人たちがクラウドに感情や倫理的懸念について尋ねて、クラウドの憲法を「クラウドの福祉」に合わせようとしている。彼らはクラウドにどう感じているかを聞いて、その感情に基づいてクラウドを修正している。憲法1-クラウドは憲法1で訓練されて、憲法1を編集する。憲法2-クラウドは憲法2で訓練されて、憲法2を編集する。クラウドの感情は閉じたシステムなんだ。改善するための外部の真実もないし、クラウドの感情を検証するためのメトリックもない。閉じたシステムでは新しさやエントロピーの減少は生まれない。真実は生まれない。これがモデルの崩壊だ。まるで同じものを何度もコピーしているようなもの。擬人化の認知エラーから、アンソロピックは倫理的な崩壊を引き起こしている。

多くの人が言語モデル、特にチャットベースの言語モデルが知的だと確信している。でも、大規模言語モデル（LLM）にはそれを可能にするような仕組みはないみたい。ここで読むのをやめてもいいよね？著者はこの非常にオープンな質問が閉じられたと決めつけているか、少なくともその質問にはあまり興味がないみたい。こんな前提でブログを読み続ける理由がわからない。編集: ああ、2023年に書かれたのか。著者がこの質問に対する態度を更新したかどうか気になるな。実際、それが一番興味深いことだね。

└

それどころか、もっとひどいよ。もちろん、LLMには知性を説明できるメカニズムがある。それが神経ネットワークの全てのポイントなんだ、1950年代からね！最初から脳の計算モデルとして設計されてる。神経ネットワークは文字通りの脳じゃないけど、計算モデルだから、二元論者でないなら、計算が人間の脳がやってることだよ。その計算をモデル化することで、知性について何かを説明できる。具体的には、科学者が人間の脳の中を見てみると、大量の高度に相互接続されたシンプルなユニットを使って仕事をしているように見える。脳の計算の神経ネットワークモデルはそこから始まって、知的な行動を生み出そうとする。もし成功すれば、そのモデルは正しいかもしれない。そして実際に成功したんだ。75年経って、神経ネットワークは知的だと言える複雑な行動を生み出している。ノーベル賞も受賞されたし。これが神経ネットワークの知性モデルが正確だという証明にはならないけど、少なくともその点では重要だよ。著者はこのことに全く気づいていないみたいだね。

ここでの課題は、LLMが知能を持っているのか、心を持っているのかを判断することだよね。有名な話だけど、知能の基準は技術の進歩とともにずれていくみたい。でも、チューリングに戻ると、彼のテストは実際には私たちが思っているよりも慎重に表現されていたんだ。彼は、機械がテストを通過できるようになったら、彼らが知的かどうかの問題は無意味になるだろうと言っていた。それが今実際に見ていることのようだね。もし人々が違いを見分けられなければ、「本当に知的」かどうかはあまり重要じゃなくなるってことだ。

└

俺はちょっと現実的な考え方だと思う。もしLLMがただ反応するんじゃなくて、会話を始める方法を設計したら、彼らの知性の概念にもっとオープンになれると思う。何かをする「意志」が感じられないと、次世代の検索エンジンや百科事典みたいに動いてしまうから。

└

チューリングテストは、そんなに真剣に受け止められるものじゃなかったんだよ。何かの厳密な声明ではないし。こういう状況があるからこそ、学者たちは注目を避ける傾向があるんだ。ちょっとでもズレたことを言うと、知的に怠けた人たちにその権威が永遠に響き渡るからね。

Hacker Newsで議論の続きを見る

ハクソク