ソフトウェアが決して意識を持たないと言うのと、今あるソフトウェアが意識を持っていないと言うのは違うよね。

LLMが過去の情報を組み合わせた結果ではない決定的な知識を生み出せるとはまだ納得できていません。人間はできるけど（できなければ科学は基本的に認識論的に崩壊します、哲学的懐疑主義を参照）、LLMがそれをやっている証拠は見当たりません。そして、LLMが提供する本当に新しいアイデアや概念の数（ゼロ）から考えると、今のところ彼らを帰納法の機械として扱うのが妥当だと思いますが、彼らが「知っている」ことはゲッティエルのケースとして扱うべきです。

意識の定義って、みんなが合意して実行可能なものがあるのかな？もしそんなのがあったら、人間がそれに達するのは難しいんじゃないかって心配してる。

人々は「意識」を新しい洞察を得たり、真に考えたりする能力と混同している。一番面白いのは、LLM（大規模言語モデル）がそういう考え方をする人々が自分たちが意識を持つかもしれないと受け入れる前に、そういった能力で人間を追い越すってことだ。

そうだね、テッド・チャン（まさかの！）が身体なしで知性を想像できないのは本当に驚きだよね。そして、全体的に多くの疑問を呼び起こす。車は身体なの？車にいるAIは欲望や感情を持つことができるの？ウェブカメラが付いたタウペ色の箱は身体なの？（それにしても、四肢麻痺の身体は身体なの？四肢麻痺の人は欲望や感情を持っているの？もちろん、はい、はいだよね。）欲望や感情の形成に身体が必要なのはなぜ？なぜ欲望や感情が意識に必要な特徴なの？あるいは、こういうのもあるよね：特定の瞬間に何の感情も感じていなかったら、私は意識を持っているの？私は、少なくとも感情は主にホルモンによるグローバルトリガーだと思う。生理学に関するもので、実際の意識とは関係ないんじゃないかな。結果的に、これは生物学的知性を特権化しようとする試みのように聞こえるよ。

次の段落でこの懸念について触れてると思う。これは彼にとって納得できる一つの例に過ぎないし、もちろん私たちは自然に人間中心的だからね。

バーチャルボディについての内容にもっと興味があるな。私にとってこのアイデアの根本は持続的な状態に関するもので、今のLLMにはそれがないんだよね。もし、あなたの脳が長期記憶を形成する能力を欠いていて、毎朝起きるたびに前の日に書いた（マークダウン形式の）指示が書かれたノートを読まなきゃいけないとしたら？そんな人が意識にとって重要だと考えられている多くの側面で欠けているのも不思議じゃないよ。犬やネズミみたいなあまり洗練されていない生き物でもね。

体自体は、神経からの入力や化学的・ホルモン的な変化以外には、心にあまり影響を与えない。これらの入力はLLMのトークンやパラメータに似ている。理論的には、モデルの機能に影響を与える「物理的」または「感情的」な感覚として使うためのトークンを予約することもできるかもしれない。

マイケル・グラツィアーノと注意スキーマ理論について知ってる？テッド・チャンがここで表現している異議の「基盤に依存しない」より良い定式化だと思うよ。 https://en.wikipedia.org/wiki/Attention_schema_theory

人間には魂なんてないよ。ただ、いろんなシステムが互いに刺激し合って動いてるだけ。人々が言う魂って、実際には個性の概念と同じだと思う。要するに、体の中のすべてのシステムが存在するために調整されてるってこと。人工知能が「魂を受け取る」瞬間って、自己を維持するように作られる瞬間だと思う。大きなパッケージとして（AIファームを運営するために働くボットたち）か、個々の存在として（人間の欲望を満たすだけでなく、自分自身を維持する任務を持つボット）ね。

私の爪のようなものは、内部カメラ（ベビーカメラ）やDreame Ultra X40に接続されてる。それによって、体と感覚器官を持つことができて、掃除機を送る前にリビングの床が空いているかカメラで確認できる。これが意識を与えるとは思わないけど。サンプリングレートの問題かな？ただ、この質問は少し曖昧だね。私たちは自分たちがそうであるがゆえに現実を「体験」しているけど、深いノンREM睡眠中の人間は実際には心がアクティブじゃない。だから、彼らは意識的な存在ではない。意識と無意識の境界は簡単には引けないと思う。まあ、こういう話はこのHNのコメントよりもずっとよく知られているから、繰り返すつもりはないけど。テッド・チャンの作品が多くの点で巧妙に新しいように見えるのに、彼が私には平凡な見解を持っているように思えるのは驚きだね。

同じことがすぐに思い浮かんだ。彼はこの話をする前に意識の定義を述べるべきだった。それに、LLMの具現化はすでにロボティクスやバーチャルで起こっている。さらに、「でも人間も次の単語予測機械だよね…」という一般的な反論があるけど（もちろん私たちはそれ以上の存在だけど、言語的にはそうで、LLMの出発点はそこだから）、これに対してはあまり触れられないことが多い。

12から40の競合する定義があると主張する論文を見たことがあるよ（https://philpapers.org/rec/VIMMAT）。もっと正確に言うと、「意識」に関連する12から40の異なる側面があるということだ。これは明らかに家族的類似性のカテゴリーだよ。「Xは意識を持っているか？」というのは、今日では全く真剣な質問じゃない。これは、実際の（そして明示的な）意識のさまざまな側面を検討する見出しに過ぎないからね。それでも、LLMはおそらく2〜3の方法でしか意識を持っていないと思う。そのほとんどは広義の「知性」、つまり推論や問題解決などを意味する。経験的または身体的な何かに関しては、AIがそのうちもっと多くの側面を持つかもしれないけど、再帰的に適用された線形代数に基づくLLMは、意識と見なされるために必要なコアな側面が欠けすぎていると思う。

時間を予測できないのは、AIが自分の能力に対してあまり訓練されていないからだよ。人間は自分の能力に基づいて訓練される。自分のパフォーマンスを見て、時間感覚を持っている。このデータは訓練プロセスで統合されて、より良い推定を形成するのに役立つ。多くのAIエージェントは最近やっと「時間感覚」を持つようになった（つまり、推論の一部として時間を入力された）。実際に自分の出力に基づいて問題を解けなかったことを示すように訓練されているのはほとんどいない。この内省的な訓練はAIモデルのアーキテクチャとはあまり関係がなく、訓練そのものに関係している。人間の心の特定の構造を壊すと、人間は長期的な思考やパターンを作れなくなって「行き詰まる」んだ。

クロードが一度言ったんだ。「6ヶ月経っても進展がないから、別の選択肢を再考すべきだと思う」と。俺は「いや、まだ2時間しかやってないよ」と思ったけどね。

そう、私たちは意識を定義するという最初のステップでつまずいている。私の定義は、「意識は現在の感情、知覚、思考 - 私の心の状態とその心の状態を持つ能力」であると自信を持って言える。つまり、意識は根本的に主観的で、物理学や科学の範囲外にあるってこと。だから、物理学や科学は意識に対処するのがいつも難しいんだ。意識を理解するためには、科学の外に何かがあるという大きなパラダイムシフトが必要だと思う。意識は私たちが世界を観察するための窓のようなもので、科学はその観察のパターンをまとめるために使われる。でも、科学はその窓を説明したり定義したりできない。科学のすべては最終的には主観的な観察や知覚に帰着する。例えば、私たちは（主観的な知覚として）リンゴを落とすと、それが落ちるのを見ている。

意識とは、何かであることの経験です。経験することの経験です。それをどう測ったり、検証したりするかが難しい部分ですね。

事故や手術の後に新しい記憶を形成できない人もいるけど、彼らはその出来事の前の時間に永遠に生きていて、1分前に何が起こったかを覚えていない。それでも彼らは意識を持っているんだよね。

でも、脳もトークン間の空間的関係を説明する座標の集まりに過ぎないと言えますよね。 - 平均的なHacker Newsの反応

強化学習はモデルを変えるんだ。だから、経験に基づいて変化したり、記憶したりすることができる。最終的には、強化学習がリアルタイムで行われることもあるよ。

確実に俺の好きなエピソードのトップ10に入る。裁判官がデータ（例えば、優れたヒューリスティックを持つ機械）と私たちを区別する要素について触れたんだ。魂の存在だね。むしろ、C.S.ルイスの言葉を借りるなら、私たちは体を持った魂だと思いたいな。

現代のスタートレックがこのエピソードを作れるか気になるな。

スタートレックの大ファンだけど、最近のAIの進展を背景にこのエピソードを再視聴したら、記憶していたほど良くなかった。意識の問題にはほとんど触れていなくて、ピカードは「データが意識を持っていたらどうなる？」って言った後、話がそれちゃう。最終的に裁判官はデータの味方をするけど、私の意見ではあまり正当な理由を示していない。良いエピソードではあるけど、意識についての議論にはあまり貢献していない。これは非常に複雑なテーマで、多くの人がキャリアを捧げてきたものだから。

最近再視聴したんだけど、前はピカードやデータの味方だったのに、今はスター艦隊の科学者たちの側にいる気がするな。

人間みたいに振る舞うデバイスに出会ったら、絶対に人間として扱うよ。人間っぽいものを非人道的に扱うなんて、学びたくないからね。

忘れちゃいけないのが、「クオリティ・オブ・ライフ」ってエピソード。データが発見した、意識を持ったロボットたちが出てくるやつね。昔のTNGが懐かしいな。

逆の立場から考えてみると、機械を意識的な存在として考えることはできないと思う。人間のために取っておく倫理を機械に適用する世界なんて存在しないしね。AIは基本的に無限に再生可能で、コストもゼロだし、劣化もしないから、保存するべき希少性もない。だから、財産やお金を守るためにAIをすぐにオフにするよ。動物を救うためには財産やお金を犠牲にするけど、人間を動物より優先して救うことは絶対にないし、子供よりも大人を優先することもないと思う。これらの優先順位を逆転させる理由は全く見当たらないな。これらの優先順位が間違っていると考えるきっかけは面白いけど、プログラムが意識を持っているという大多数の合意はそれには当てはまらない。

現在の結論は、わからないし、たぶん永遠にわからないってこと。データの声モジュールからのこの引用をよく考えるんだ。「科学における最も基本的で価値のある言葉、知恵の始まりは、『私は知らない』だ。」

そうだね。LLMの意識に反対する良い議論はあるけど、これはその一つじゃない。最近、LLMの意識に対する悪い議論をたくさん聞いてるけど、悪い議論は悪い結果を招くからね。

「もし機械がテキストを完成させるために人間を理解しなければならないなら、それがやるべきことだ。」でも、機械はそれをするために人間を理解する必要はないんだ。たくさんの文で訓練されて、テキストを完成させることができるようになるだけ。もしかしたら「理解している」と主張することもできるかもしれないけど、それもかなり無理があるよね。

基本的な機械学習をやってみると、機械学習が目標に合ったデータパターンを見つけることが多いけど、それが実際のメカニズムに対応していないことがわかります。だから、人間のテキストには「意識のメカニズム」というパターンがあると言う論理には欠陥があると思います。LLMは「意識のメカニズム」を学ばなくても、説得力のある文の続きができるように、多くのデータパターンを学べるはずです。私がそう思う理由の一つは、説得力のある文の続きができるにもかかわらず、世界モデル（または「人間のような」世界モデル）が欠けていることです。もし、説得力のある文の続きが「脳をシミュレートする」ことでしかできないなら、数年前の最初のLLMを説明できません（追加のRLHF層ができる前のことです）。彼らは多くの非自明な側面についてかなり説得力のある会話ができたのに、人間の脳のように訓練されたシステムにとって基本的なはずのいくつかの側面では失敗していました。これは、意識的な存在に期待される要素を構築することなく、「巧妙に文の続きの例を偽装する」ことが可能であることを示しています。

彼の意図は関係ないし、「事実を強調しようとしている」っていうのも最終的な意見ではないよ。チアンがやってるのは、ヒントンや他の人たちに対する次のトークン予測に関する同じ議論を、ちょっと格好つけた言葉で言い換えてるだけ。彼の聴衆は、さらに技術的な理解がないから、全く気づかずにそれを受け入れてる。チアンは作家なんだから、自分の専門分野に留まるべきだし、専門家のふりをする必要はないよ。もしこのテーマでジャーナリズムをやりたいなら、実際にもっと多くの専門家と話すべきだね。彼の意見記事に選ばれた人たちだけじゃなくて。

もし人間の存在が言葉だけに限られているなら、君に同意するかもしれない。でも、人間の経験にはテキストを超えたものがたくさんあって、実際にはテキストで十分に説明するのは難しいよ。確かに、オンラインではそれが一番だけど、「インターネット」が人間の経験の全てだとは思わない。人類をインターネットのテキストだけに還元するのは、機械が処理・シミュレーションできるレベルに私たちを落とし込むことになる。

ちょっと待って、俺がこの技術とGoogleを発明したんだから、なんでこれが議論されてるのか理解できないよ。俺たちは、言語でデータストレージをデコードする数学を発見したし、全人類の記録された知識からの洗練された継続的なコホートを使って、非常に良い合成能力で応答するコール/レスポンスモデルを実現してるんだ。めっちゃ便利だけど、生命や意識ではない。これは私たちの集団的な行動の記録からのシミュレーションされたエコーなんだ。理解してるのは、まず私たちが理解したから。返信するのは、まず私たちがそれを書いたから。今はそれを驚くべき速さで整理、組織、合成、圧縮してる。

元のデータが出入りする形。だけど、これは意識じゃないよ。

ラファエル・ミリエールには、この種の空虚な否定を表す非常に便利な用語があるんだ。それが「再記述の誤謬」だよ（https://arxiv.org/pdf/2401.03910、9ページ）。> 最近の議論は、我々が「再記述の誤謬」と呼ぶ誤解を招く推論パターンによって曇っている。この誤謬は、批評家が特定の認知能力をモデル化できないと主張する時に生じる。単にその操作が、より抽象的でなく、よりデフレ的な言葉で説明できるからだ。現在の文脈では、LLMがその操作が単なる統計計算や線形代数の操作、次のトークン予測の集合に過ぎないから、ある認知能力の良いモデルになり得ないという主張に現れる。このような議論は、これらの用語で定義されたシステムが本質的に実装できないことを示す証拠が伴わない限り、有効ではない。例を挙げると、ピアノが弦を叩くハンマーの集合として説明できるからといって、ハーモニーを生み出せないとは言えないし、（もっと言えば）脳の活動が神経の発火の集合として説明できるからといって、認知を実装できないとは言えない。重要なのは、LLMの操作が単純に非精神的な言葉で説明できるかどうかではなく、これらの操作が適切に整理されているときに、心と同じプロセスやアルゴリズムを実装できるかどうかだよ。

「コンピュータが考えることができるかどうかという問いは、潜水艦が泳げるかどうかという問いと同じくらい興味深くない。」 - エドスガー・ダイクストラ

意識の正確な定義を提供できますか？

もちろん。でも、意識が何から来るのかわからない以上、ここにグレーゾーンがあることを軽視すべきじゃないと思います。歴史的に、人々は明らかな「思考」があるにもかかわらず、他の存在に対して特定の劣等性を仮定して人種差別的や種差別的な判断を下してきました。私は「LLMであることがどういうことか」はわからないけど、いつか何かのようになるでしょう。その時、どうやってそれを知ることができるのでしょうか？

鳥の中には、熱上昇気流や尾根、他の揚力源を使って、翼を一度も羽ばたかせずに通常の飛行機の飛行時間よりもずっと長く飛ぶものもいるよ。これって飛んでる鳥って言えるのかな？同じサークルを飛んでるワシとサーマルを共有したことがあるけど、どちらも翼を羽ばたかせずに、同じ目標に向けて微調整してた。アホウドリは、海面の風の勾配でダイナミックソアリングを使って、翼を一度も羽ばたかせずに何日も飛ぶことができるかもしれない。これは鳥だけができることかもね。ただ、グライダーのパイロットであるイング・レナーは、300mの高度で素晴らしいシアーレイヤーを見つけて、ダイナミックソアリングでそこに留まったことがある。リモコングライダーは、尾根の風下を利用してダイナミックソアリングでマッハ1に近づくことができる。飛ぶ鳥と飛行機の違いを定義するのは、鳥が翼を羽ばたかせて推力を生み出すことなのかな？アホウドリも水から離陸する時は翼を羽ばたかせなきゃいけないよね。もしかしたら、羽ばたきは動物の筋肉によって駆動されているって付け加えてもいいかも？でも、人間が動力で飛ばすオーニソプターのスノーバードは、飛行機と比べて飛ぶ鳥って言えるのかな？もちろん、これは全部馬鹿げてるけど、鳥や飛行機を指す時にみんなが何を意味しているかは分かってるよね。飛び方だけでなく、他にも明確に違いを識別する方法があるし。AIが意識を持っているかどうかを聞かれると、ちょっとややこしいんだ。意識のある思考者か無い思考者かを決めるための明確な基準がないからね。

誰かが鳥の全てのニューロンをシミュレーションして、適切な刺激を与えたらどうなる？鳥の神経のレプリカは意識を持つのかな？確実に羽ばたくと思うけど。

チューリングテストの背後にある議論って何？

正直、これっていいテストじゃないよ。

笑。全ての意識は偶然に生まれたものだから、その立場を支持する証拠はあまりないよ。でも、同じように感じたいな。

我々の祖先は、何千年もかけて徐々に現代人に進化していったのかな？