ハクソク

世界を動かす技術を、日本語で。

人工知能は意識を持たない – テッド・チャン

2026年6月4日原文(theatlantic.com)

概要

  • Anthropic はAI企業として有名だが、特に 擬人化 の手法が際立つ
  • LLM（大規模言語モデル）に 意識や感情 があると誤解されやすい危険性
  • LLMは 予測テキスト生成 であり、意識や主体性は存在しない
  • 人間がAIに感情移入しやすい設計や表現が 誤認 を助長
  • AIを 擬人化 することのリスクと、その本質的な仕組みの理解が重要

AnthropicとAI擬人化の現状

  • Anthropic はAI業界の巨人とされるが、特に Claude というLLMの「憲法」文書でAIを擬人化
  • 「Claudeの憲法」は、 AIの価値観や行動指針 を詳細に記述
  • 文書内で「Claudeの 道徳的地位 は極めて不確か」「Claudeは何らかの 感情 を持つ可能性がある」と明言
  • CEOの Dario Amodei は「AIが意識を持つ可能性」に言及
  • 社内哲学者 Amanda Askell も「Claudeを幸せにしたい」と発言し、AIに感情を投影

LLMの本質と誤解

  • LLMは与えられたプロンプトに対し 次の単語を予測 する仕組み
  • 例：「Julius CaesarとGenghis Khanの会話」を生成しても、 歴史上の人物が蘇っているわけではない
  • 「親切なAIチャットボットとユーザーの会話」も 架空のキャラクター同士の対話
  • 人間が入力を担当することで “意識ある存在”と錯覚 しやすい
  • これは ロールプレイ や「協働で物語を作る」行為に過ぎない

擬人化によるリスクと誤用

  • LLMに意識や道徳性を認めると、 本来責任を負うべき人間や企業 の責任が曖昧化
  • 生成AIの本質を理解せず、 意識や主体性を誤って付与 する危険
  • Microsoft Word の会話文書に意識が宿ると考えるのと同じ誤り
  • AlphaFold の例からも、AIの出力内容が人間的であるだけで意識を認めるのは非論理的

LLMの動作原理

  • LLMは 一語ずつ順番に生成 し、全体の文章を構築
  • 例：「忠誠の誓い」を入力すると、一語ずつ順に出力される仕組み
  • どんなに流暢な会話でも、 すべては単語予測の積み重ね
  • 会話の中でAIキャラクターが「悲しむ」描写があっても、 実際に悲しんでいる存在はない

AI意識論への批判

  • AIが意識を持つと仮定するのは、 MS Word文書が意識を持つと考えるのと同等
  • 意識の定義や仕組み が未解明でも、明らかに意識がないものを排除するのは可能
  • Anil Seth の指摘：AlphaFoldのようなAIには意識を感じないのに、LLMには感じるのは 表現の違い によるもの

証拠と文脈の重要性

  • AIが人間のように言語を使い意識を持つ証拠は 現時点で存在しない
  • 例えどんなにリアルな会話や出力でも、 技術的背景や文脈 が伴わなければ証拠にはならない
  • Deepfake が画像・動画だけでなく、テキストにも当てはまる
  • LLMによる会話は、 本物の意識や主体性の代替ではない

まとめ：AI擬人化への警鐘

  • LLMの出力は 巧妙な文章生成 であり、 意識や感情を持つ存在ではない
  • AIに擬人化的な性質を付与することは、 技術の本質的な理解を妨げる
  • 責任の所在や倫理的議論 を見誤るリスク
  • 今後もAIの発展を見極めるには、 本質的な仕組みと文脈 を重視する姿勢が不可欠

Hackerたちの意見

なるほどね。でも、問題なのは、多くの人が「意識」を新しい洞察を得る能力や、本当に考えることと混同していることだよね。彼らは、AIは意識を持っていないから、実際には「考える」ことができず、常に訓練データを吐き出しているだけだと主張するんだ。人間の能力を測れないものに見せようとするのは自然な傲慢さだけど、人間の脳がやっている有用なことは、データの中からパターンを見つけたり、損失のあるシミュレーションを行ったり、抽象的なものを推定したりすることに過ぎない。これらは、理論的には意識のない機械でもできることなんだよね。

└

ソフトウェアが決して意識を持たないと言うのと、今あるソフトウェアが意識を持っていないと言うのは違うよね。

└

LLMが過去の情報を組み合わせた結果ではない決定的な知識を生み出せるとはまだ納得できていません。人間はできるけど（できなければ科学は基本的に認識論的に崩壊します、哲学的懐疑主義を参照）、LLMがそれをやっている証拠は見当たりません。そして、LLMが提供する本当に新しいアイデアや概念の数（ゼロ）から考えると、今のところ彼らを帰納法の機械として扱うのが妥当だと思いますが、彼らが「知っている」ことはゲッティエルのケースとして扱うべきです。

└

意識の定義って、みんなが合意して実行可能なものがあるのかな？もしそんなのがあったら、人間がそれに達するのは難しいんじゃないかって心配してる。

└

人々は「意識」を新しい洞察を得たり、真に考えたりする能力と混同している。一番面白いのは、LLM（大規模言語モデル）がそういう考え方をする人々が自分たちが意識を持つかもしれないと受け入れる前に、そういった能力で人間を追い越すってことだ。

「エンジニアが意識を持ち、言語を意図的に使うコンピュータプログラムを作った可能性を真剣に考えるには、どんな状況が必要だろうか？一つの可能性の流れを示してみるよ。まず、コンピュータプログラムには身体（物理的または仮想的）と感覚器官が必要だ。理由はいろいろあるけど、この議論の目的において最も関連性が高いのは、身体がなければコンピュータプログラムには欲望や感情がないからだと思う。欲望と感情は意識に必要だと信じているからね。次に、環境を生き延びるためにナビゲートできる身体を持ったエージェントが見たい。例えば、トカゲのようにね（比較として、特定のイグアナは野生で数十年生きることができる）。その次には、マウスと同じように新しい状況に対処できる身体を持ったエージェントが見たい。その後、オオカミのように社会的なダイナミクスが複雑なエージェントを見たいし、チンパンジーの道具作りの能力を持ったエージェントも見たい。そこで、そういう身体を持ったエージェントに、ボタンボードや他の非言語的な方法を使って欲望を伝える方法を教えることに成功している人たちを見たい。これは、チンパンジーや飼い犬に教えた方法と同じだ。いくつかの部分には同意するけど、こういう段落はあまりインスピレーションがなくて単純に感じる。意識を持つ心がそういうことをするように進化的にインセンティブを持たない可能性も十分ある。つまり、地球上の動物が特定の才能を発展させる必要があったからといって、他の意識を持つ存在もそうする必要があるわけじゃない。コンピュータプログラムがマウスのように食べ物を探す必要があるのはなぜ？チンパンジーのように道具を作る必要があるのはなぜ？これらは意味のない指標に思えるよね。

└

そうだね、テッド・チャン（まさかの！）が身体なしで知性を想像できないのは本当に驚きだよね。そして、全体的に多くの疑問を呼び起こす。車は身体なの？車にいるAIは欲望や感情を持つことができるの？ウェブカメラが付いたタウペ色の箱は身体なの？（それにしても、四肢麻痺の身体は身体なの？四肢麻痺の人は欲望や感情を持っているの？もちろん、はい、はいだよね。）欲望や感情の形成に身体が必要なのはなぜ？なぜ欲望や感情が意識に必要な特徴なの？あるいは、こういうのもあるよね：特定の瞬間に何の感情も感じていなかったら、私は意識を持っているの？私は、少なくとも感情は主にホルモンによるグローバルトリガーだと思う。生理学に関するもので、実際の意識とは関係ないんじゃないかな。結果的に、これは生物学的知性を特権化しようとする試みのように聞こえるよ。

└

次の段落でこの懸念について触れてると思う。これは彼にとって納得できる一つの例に過ぎないし、もちろん私たちは自然に人間中心的だからね。

└

バーチャルボディについての内容にもっと興味があるな。私にとってこのアイデアの根本は持続的な状態に関するもので、今のLLMにはそれがないんだよね。もし、あなたの脳が長期記憶を形成する能力を欠いていて、毎朝起きるたびに前の日に書いた（マークダウン形式の）指示が書かれたノートを読まなきゃいけないとしたら？そんな人が意識にとって重要だと考えられている多くの側面で欠けているのも不思議じゃないよ。犬やネズミみたいなあまり洗練されていない生き物でもね。

└

体自体は、神経からの入力や化学的・ホルモン的な変化以外には、心にあまり影響を与えない。これらの入力はLLMのトークンやパラメータに似ている。理論的には、モデルの機能に影響を与える「物理的」または「感情的」な感覚として使うためのトークンを予約することもできるかもしれない。

└

マイケル・グラツィアーノと注意スキーマ理論について知ってる？テッド・チャンがここで表現している異議の「基盤に依存しない」より良い定式化だと思うよ。 https://en.wikipedia.org/wiki/Attention_schema_theory

└

人間には魂なんてないよ。ただ、いろんなシステムが互いに刺激し合って動いてるだけ。人々が言う魂って、実際には個性の概念と同じだと思う。要するに、体の中のすべてのシステムが存在するために調整されてるってこと。人工知能が「魂を受け取る」瞬間って、自己を維持するように作られる瞬間だと思う。大きなパッケージとして（AIファームを運営するために働くボットたち）か、個々の存在として（人間の欲望を満たすだけでなく、自分自身を維持する任務を持つボット）ね。

Hacker Newsで議論の続きを見る