LLMの非擬人化的視点

323日前原文(addxorrol.blogspot.com)

概要

LLM （大規模言語モデル）は本質的に数式的な関数であり、人間のような意識や倫理観は持たない
アライメント（alignment） やAIセーフティの議論では、しばしば過度な擬人化が行われている
LLMは 単語空間内のパス生成機械 として捉えるべき
人間の意識とLLMの本質的な違いを強調
技術の進展による社会変化の大きさと、思考の明確化の重要性を指摘

LLMの本質と単語空間

トークン化と埋め込み により、各単語が(\mathbb{R}^n)ベクトルに変換
テキストは 高次元空間内のパス として表現
LLMは 直前のパス情報 から次の単語の確率分布を計算し、ランダムに選択
Snakeゲーム のように、文脈長(c)以内でパスが更新されるイメージ
LLMは 確率的関数 として、与えられた入力から出力パスを生成

学習と「避けたいパス」

LLMの学習は 人間の文章模倣 を目指す
望ましくない言語列（例：有害発言）は 例示と対例 で回避を試みる
数学的に明確な除外パスの定義は困難
アライメント は「有害な出力の確率を定量化・制限」することが本質
現状では 例示ベースの制御 しかできず、厳密な確率評価は未解決

LLMの実用性と進化

LLMは 従来困難だったNLP課題 を多数解決
英語での要約・構造化・物語生成など、 数年前ではSF的だった応用 が現実化
進化の速度が非常に速い ため、今後も解決可能な問題は増加見込み

擬人化批判と議論の曖昧化

LLMに 「意識」「倫理」「価値観」 を帰属させる議論は誤解を招く
LLMは 単なる数式的関数 であり、外部から動作を止めれば何も出力しない
「目覚める」議論 は数値計算モデルにも当てはまらず、非合理的
「AIが内通者になる」等は 確率的出力装置としての側面 から説明可能
擬人化による議論の混乱 が、技術の本質理解を妨げる

本来あるべきLLM議論の枠組み

LLMは 「系列生成関数」 と捉え、出力確率の制御問題として考えるべき
望ましくない出力系列に対して、 最大確率となる文脈を探索 することが重要
「倫理的行動」や「目的追求」 ではなく、 関数の性質 として議論する明快さが必要

AI研究者の擬人化傾向の背景

AGI（汎用人工知能）実現への信念 を持つ研究者が多く、擬人化しやすい
「神を創る」的な動機 がキャリア選択に影響
擬人化批判は 信念体系への挑戦 となり、受け入れがたい場合も多い

人間意識とLLMの本質的違い

人間は 進化と複雑な生理的要素 により形成
神経細胞・ホルモン・高帯域入力・進化的淘汰 など、LLMとは桁違いの複雑性
人間の出力確率を 数式的に評価できない
LLMに 倫理や恐怖、意志 を帰属させるのは、数値計算モデルに「感情」を議論するのと同様に不自然

LLMの社会的インパクトと明晰な思考の重要性

LLMの実用化だけでも 社会構造を大きく変える可能性
電化や自動車、コンピュータの普及 に匹敵するインパクト
技術進化の時代を 冷静かつ明晰な思考 で乗り切る必要性
擬人化による誤解 が社会的な混乱や不安を助長するリスク

結論

LLMは 数学的関数 であり、 人間的性質の帰属は誤り
明快で非擬人化的な議論 が、技術活用と社会適応の鍵

Hackerたちの意見

著者の核心的な見解は、結局のところサールのような考え方だね。計算的で機能的、構文ルールに基づいたシステムでは、心を再現することはできないってこと。賛成する人もいれば、反対する人もいるだろうし、その答えはおそらく知り得ないもので、意識に関する自分が信じる公理に依存するんだろうね。著者は、擬人化された表現を無視して、もっと具体的で物質的、技術的なシステムに焦点を当てる方が生産的だと考えているみたい。そこには賛成だけど、限度があるかな。これらのことの裏側には、まだ何か新たに現れるもの、計画されていないもの、心のようなものがあるっていう考え方があるよね。だから、たとえそれがルールに従った確率的なシステムだとしても、明らかにそのルールは複雑で（数十億の操作があって、信号が何らかの共鳴構造を通じて伝播するような、連続的な行列積のフィルターインパルス応答的な見方をすると）、現れる特性を生み出すんだ。私たち（LLMに興味があって、ある程度のML数学やシステムの知識がある人たち）が、これらのシステムが道徳や倫理、感情、個性を持っていると信じるのは「知っている」けど、ほとんどの人はLLMの数学的で機能的な表現について意味のある理解を持っていないし、その見方を取らない。だから、実際にはこれらのシステムが擬人化された特性を持っているように見えるし、その視点から質問をするのも有用なように思える。つまり、これらのものを純粋に技術的なシステムとして分析・研究するのが有用なのと同じように、ほとんどの人がそれに関わる質的で一時的な、体験的な視点から分析するのも、たぶん有用なんじゃないかな。

└

いや、なんでそんな誤解を助長するようなことをする必要があるの？それが様々なトピックにおいて重大な決定に影響を与える可能性があるのに。LLMは人間の思考プロセスの側面を反映している（しかも悪い意味でね）。もしそれ以上のものだと言うなら、鏡に映る自分を生きている存在として考え始めるのと同じだよ。文字通り（本当に文字通り）、違いはない。鏡から人間の像が出てくることは、鏡の物理的な属性や機能的な特性とは全く関係がない。ただ、その前に人が立っているという事実に関係しているだけだ。人間の思考のデータアーティファクトをLLMに与えるのをやめれば、すぐに人間に似たものを反映するのをやめるよ。

└

これらのことの裏側には、まだ何か新たに現れるもの、計画されていないもの、心のようなものがあるっていう考え方があるよね。そうだね、彼らの仕組みを表面的にしか理解していない人にとっては。クラークの法則のニュアンスで、「十分に進んだ技術は魔法と区別がつかない」っていうのは、誰にとっても基準が違うし、その技術に対する理解の深さも異なるってことだ。その基準は、技術的に無知な一般の人々にとっては非常に低いから、面倒なことに、私たちの中のかなりの割合がAIによって強化された神のボット（「神モード」や占い、具現化のプロンプトでフィードされたLLM）に宗教的・神秘的なシステムを置き換え始めているんだ。

└

よく考えられた、そして微妙な視点をありがとう。多くの人が明らかに先入観に基づいた絶対的な結論に合わせた議論をしている中での話だね。HNの多くがLLMに対して感情的に反応するのが驚きだ。彼らにとって、LLMについて興味深いことや有用なことが何もないと否定するまでに至っている。あと「過剰なマーケティングに対抗するために虚偽を信じることを選んでいる」みたいな人たちには、もう言及したくもないよ。

└

LLMが書いたコメントだよ。どうやって知ってるか聞いてみて。

└

これらのすべての裏側には、依然として何かが出現し、計画されていない、心のようなものがあるという考えがある。あなたが出現し、心のようだと認識するものは、これらのツールが人間のコミュニケーションパターンを模倣できる結果だ。これは非常に印象的で、私たちの生活を改善する幅広い実用的な応用があるが、注意しないと大きな害を引き起こす可能性もある。ただし、知性のように見えるものは幻想だ。この幻想を広めたいと執着する人が多いのは、そこに金があるからだ。

埋め込みを使って遊ぶのを強く勧めるよ。そうすると、高次元空間の表現だってことが実感できるようになるから。

└

つまり、LLMは彼らを構成する行列積以上の存在だってこと？それともそれがまさに彼らの本質で、それが素晴らしいってこと？

LLMを単なるシーケンス生成器として見て、悪いシーケンスを悪行とするのは、あまりにも単純化しすぎてるんだ。LLMには隠れた状態があって、それは必ずしも生成されるトークンに直接反映されているわけじゃない。LLMはこの隠れた状態に反するトークンを出力して、長期的な結果（あるいは予測）を達成することも可能なんだ。これが嘘だと言うのは、あまりにも擬人化しすぎてるかな？隠れた状態とその長期的な予測が一種の目標に相当するって言うのは？たぶんそうかも。でも、そうなると人間の行動や意志からの概念にほぼ1:1で対応する新しい言葉が必要になる。LLMが予測損失を最小化するプロセスを説明するために。アナロジーで推論するのはいつも不安定だし、そうするのが悪いわけじゃないけど、難解な専門用語になっちゃう。広めるのは大変だよね。だから、擬人化された用語を使って、LLMの行動を人間の概念空間で分類する方法を見つけるんだ。彼らは非常に欠陥のある人間だから、ちょっと誤解を招くけど、少なくとも専門用語は減るよ。

└

「隠れた状態」って何を指しているのかよくわからないな。思考の連鎖や記憶、システムプロンプトなどを除いて、そういうものを表示しないインターフェースを考慮すると、隠れた状態は存在しないよ。私の知る限り、これらのLLMはほとんど常に自己回帰モデルで、再帰モデルではない（Mambaは例外的だけど）。

└

私の意見では、LLMの擬人化は大企業のベンダーによって良いマーケティングと見なされているから起こっていると思う。人々はその技術に興奮していて、ベンダーが使っている用語を使うのが簡単だからね。その時点で、自己実現的なものになっていると思う。GIFの発音に関するミームみたいな感じだね。

└

彼らはそうするの？LLMはトークンシーケンスN^{L}をR^{LxD}に埋め込むんだ。注意機構があって、出力もR^{LxD}になる。それから語彙に対して射影をかけて、R^{LxV}を得る。だから、各トークンに対して語彙の中での確率を得ることになるんだ。注意機構では、マルチヘッドアテンション（あるいは他の流行りのバージョン：GQA、MLAなど）があって、複数の表現ができるけど、常にトークンに結びついている。トークンとは独立した隠れ状態は存在しないと主張したいね。一方で、LSTMや構造化状態空間なんかは、特定のシーケンスのアイテムに結びつかない状態を持っていて、更新されるんだ。このテキストは、関数の表記法を除けば、誰にでも理解できると思う。前の単語に基づいて確率を計算できるって説明は、擬人化的な用語を使わなくても、みんなに理解されるはずだよ。

└

これを「嘘」と言うのは擬人化しすぎだと思う？うん、そうだね。現在のLLMは出力トークンからしか内省できない。嘘をつくためには、ブラックボックス内に隠れた推論、自覚、意図、動機が必要だ。私は、LLMを嘘つきだと非難するのは、ねずみ捕りを殺人者だと非難するようなものだと思う。モデルがオンライン学習、複雑な内部状態、反省を持つようになったら、意識を持ち、嘘をつくことができると考えるかもしれない。それは、私が挙げた特性からしか現れない行動を示す必要がある。LLMが「自分が話していることを理解できない」と主張する人たちを見たことがあるが、エラーバーを嘘として擬人化しつつ、LLMに「理解」を与えない人たちとの間に高い重複があると強く疑っている。どっちなの？考えられるのか、それとも考えられないのか？（客観的に言えば、今の最先端モデルはまだできていない。）どちらの視点が機械を完全に貶めるかをぐるぐる回っている姿勢は、こうした議論における誠実さの欠如を示している。

└

私は、隠れ状態は実際にはトークンの結合確率の推定を改善するために働いているだけだと思う。そしてここでの前提は、20世紀初頭の論理実証主義者たちの仕事でひどく失敗したものだが、もし言語の結合確率を巧みに推定できるなら、「知識」を理解できるようになるというものだ。しかし、それを信じる根拠はなく、言語が知識の不完全な表現であることを考えると、その理由はたくさんある（論理実証主義の没落を参照）。言い換えれば、人間が考えるときにやっていることは、単に記号的パターンを学習してそれを再生する以上に複雑なんだ。哲学的懐疑論者のヒュームもそう考えていたが、その後のほとんどの認識論の文献は、私たちが物事を知る方法についてより良い答えを持っていた。

AIの議論が、単語のシーケンスを生成する関数を人間に似たものとして扱うことから決して離れないのが不思議だ。これは本当に奇妙な見解だね。各人間を彼らが言うすべての言葉のリストに関連付ける関係は、明らかに関数だ。 > ほとんど魔法のような人間のような力を、私の考えでは、単にMatMulと非線形性が交じり合ったものに過ぎない。普遍的近似定理の豊かなファミリーがあるんだ[0]。線形写像の層を非線形カットオフと組み合わせることで、直感的にあらゆる非線形関数を厳密に近似できる。今LLMが注目されている理由は、トランスフォーマーと大量のデータのおかげで、かなり良い近似を計算するのが経済的になったからだ。 > 次は少し哲学的になるけど：私の世界観では、人間は関数とは劇的に異なる存在だ。何億年もの間、自然は新しいバージョンを生み出してきて、その中で生き残ったのはほんの一部だ。これは特定の種類の関数を生成する方法に過ぎない。こう考えてみて：人間について、物理学の数学的法則の外に存在する何かがあると思う？もしそうなら、それは本質的に宗教的な立場だ（もっと言えば、超自然的な信念だ）。そうでなければ、関数とその近似が人間の経験の本質だと言える。 [0] https://en.wikipedia.org/wiki/Universal_approximation_theore...

└

AIの議論が、単語のシーケンスを生成する関数を人間に似たものとして扱うことから決して離れないのが不思議だ。あなたは著者や、外から観察できるものを超えた人間の意識の要素があると示唆する他の人たちと意見が対立しているようだね。それは宗教や哲学のせいかもしれないし、何でもいいけど、彼らにそれをやめるように提案している。私の経験では、それは特に効果的な戦略ではない。むしろ、彼らの前提を受け入れることで進展できる。確かに、それは理解せずに中国語を英語に翻訳する部屋だし、そう、人間ではない単語のシーケンスを生成する関数だ。でも、あなたも私も「それ」ではなくて、それは中国語を理解するかのように振る舞ったり、人間が言葉を使うように振る舞ったりする。もし私たちが単に擬人化するなら、技術的には間違っていると認識しつつも、システムの振る舞いを予測し、効果的に利用することにずっと近づける。逆に、そんな人と人間の本質について話すときは、関数とは異なる要素を無視することに同意しなければならない。著者はこう言っている：> 私の世界観では、人間は関数とは劇的に異なる存在だ... LLMと対比して、人間と単語のシーケンスが与えられたとき、「この人間はこのシーケンスを生成するだろうか？」に確率をかけ始めることはできない。もちろんできるよ！特定の年齢層のアメリカの観衆に「私たちは持っているものを守らなければならない。それがどうなるかは関係ない」と言ったら、誰かが「...私たちがそれを成し遂げるかどうか」と答える確率は非常に高い。もしかしたら、その人間はその特定のポップカルチャー作品の本質を独自に理解しているのかもしれないし、LLMには感じられない感情を彼らの意識の一部で感じるのかもしれない。でも、質問の目的に関しては、私たちは単に人間かLLMが特定の単語のシーケンスを生成するかどうかに関心があるだけなんだ。

└

こう考えてみて：人間について、物理学の数学的法則の外に存在する何かがあると思う？もしそうなら、それは本質的に宗教的な立場だ（もっと言えば、超自然的な信念だ）。そうでなければ、関数とその近似が人間の経験の本質だと言える。私たちはせいぜい、線形代数を通じて推論や分析的、定量的な人間の思考過程をモデル化したと主張できるのが最善だ。なぜモデルがモデル以上のものであることを期待すべきなのか？多くの利害関係があって、いくつもの業界やキャリア、命がかかっているから、AGIに向けた強いバイアスがかかるのは理解できる。でも、線形代数が完全に機能する生命やその側面を生み出す特別な理由は何なのか理解できない。シュレーディンガーの猫の実験がゾンビを生み出す可能性があると言うなら、基盤となる応用確率的解決策は超人的なものとして扱われ、ゾンビ猫が生まれないようにガードレールを作るべきなのか？

└

あなたの主なポイントではないけど、この意見は代表的だと思う。「人間について、物理学の数学的法則の外に存在するものがあると思う？」人間に関すること、あるいは私たちの言葉が指し示すものには、物理学の説明の範囲を超えたものがある。例えば、赤の色の経験は、白黒しか見えない人には経験として知ることができない。これは、彼らがどんな経験的命題や説明システムを理解していても同じことだよ。

└

「普遍近似定理の豊かなファミリーがある」すごい、ルックアップテーブルは関数を近似するのがどんどん上手くなっていくんだね！

人々が「意識」や「倫理」や「価値観」や「道徳」といった特性をこれらの学習したマッピングに帰属させる瞬間に、私は迷子になることが多い。TFAは本当に、何に反対しているのかの具体的な例をリンクすべきだったと思う。実際にこの議論を見ると、たいていはお互いに話がかみ合わないことが多い。例えば、Aさんが「モデルはXをしたがっているが、Yが間違っていることを知っているのでZを好む」と言ったとする。Bさんはそれをモデルに意識や価値観を与えていると解釈するけど、話し手は「水は下に流れたがる」と言うのと同じ意味で言っているだけなんだ。つまり、外から見える行動を説明する方法であって、「...のように振る舞う」と何度も言うわけではない。そうすると、実際には生産的でない議論が続くことが多い。Bさんは「この可哀想な愚か者に心の理論について教えてやる」と考え、Aさんは「潜水艦について話しているのに、なんでこの人は私に議論をさせようとしているんだ？」と思っている。

LLMの仕組みは理解してるけど、ある程度は人間っぽく考えるのが無意味だとは思わないな。例えば、複雑な世界モデルの質問に答えたり、創造的な物語を生成するLLMについて話すときに、「次の単語を確率的に生成する装置」とか言われても、あんまり役に立たないよね。抽象度が間違ってる感じ。UIイベントAPIの話をしてるのに、ゼロとイチやトランジスタの電圧のことを話してるみたいなもん。技術的には問題ないけど、高レベルのシステムについて結論を出すには全然役に立たない。LLMの高次の現象について話すには、もっと高い抽象レベルが必要なんだけど、そのレベルで内部で何が起こってるのかは全然わからないんだよね。だから、LLMが何らかの形で人間を模倣してる（少なくとも出力の面では）ことを考えると、人間っぽく考えるのが一番の抽象化手段になっちゃう。だから、LLMの能力について話すときに、自然とそうなっちゃうんだよね。

└

逆に言うと、人間っぽく考えるのがLLMについてのナラティブの大きな問題だと思う。人々は本当にLLMが考えたり推論したりしてると思って話してるけど、実際にはそんなことはしてない（それを売ってる企業が積極的にそうさせてるし）。これがLLMの使い方やその有用性についての議論を完全に歪めてるんだよね。

└

前にも言ったけど、私たちは情報時代の始まりからコンピュータを人間っぽく考えてきたよね。 - 読むことと書くこと - 人間を動物から分ける行動。今は入力と出力に使われてる。 - サーバーとクライアント - 人間の社会的役割。今はネットワークアーキテクチャを説明するのに使われてる。 - エディター - 人間の職業。今は一種のソフトウェア。 - コンピュータ - 人間の職業！そして、コンピュータが発明される前から、人々は自分の車や船を「彼女」と呼んでたと思うよ。

└

しばらく言語モデルを使っていると、会話UIを擬人化するのが一番リスキーなことかもって印象を持つようになった。特に「会話」を「演じる」時に問題が出ることが多いけど、単一のQ/Aのペアに留めるか、少なくとも会話履歴を大幅に編集することで、問題がかなり減る気がする。LLMについての理解からすると、会話インターフェース用に訓練されたモデルでもこれは理にかなっていると思う。例えば、複数のメッセージのやり取りの後に、LLMに会話を再確認して「幻覚」を修正するよう頼むのは、最後に徹底的な要約を求めて、それを新しいプロンプト/会話に入れるのと比べると最適じゃない。これらの虚偽を繰り返したり、次のメッセージでそれに基づいて「構築」することで、より強い「存在感」を持つ可能性が高まり、その結果修正に影響を与えるかもしれない。これを徹底的にテストしたわけじゃないけど、少なくともコードに関しては、間違ったコードが会話を「感染させる」ことに気づいたことはある。

└

だから、実際に「ショゴス」と呼ぶのがすごく好きなんだ。もっと抽象的で、ちょっと浮遊感があるけど、人間として擬人化せず、LLMを予測的な言葉の集まりとして扱わない目的を達成している。

└

擬人化しない「ポイント」は、より確固たる抽象が現れるまで判断を控えることだ。LLMを人間の行動で説明する問題は、LLMが何をしているのかはっきり理解できないのに、人間の認知についてはさらに理解が浅いということだ。「LLMは私が考えているように考えている」という抽象には予測力がまったくない。これでは、LLMが「すべき」タスクを評価するメカニズムがない。真剣に試してみて。なぜLLMは同じ質問を繰り返してもあなたにイライラしないの？人間ならするよね。なぜLLMは矛盾した答えを喜んで出すの？矛盾した事実を強調しない限り、全然気にしないよね。なぜ初期のモデルは後のモデルより推論タスクでパフォーマンスが悪いの？これらは誰も理解していない特徴だ。だから、どうして「明らかに脳だ」と大きな飛躍をするの？飛行機を発明した人に対して、誰かが「お、飛んでるから鳥だね」と言うようなものだ。それは鳥じゃない！

└

LLMは、あなたの説明からASMが基盤のアーキテクチャからどれだけ遠いかと同じくらい遠い。擬人化の抽象は、浅くつかむことを許す範囲を一歩でも出ると崩壊するどんな比喩よりも素晴らしい。でも、快適なアナロジーを強引に押し通すために、限界を認めたくない人もいる。この新しいツールをより関連性のある方法で使うには、この快適ゾーンから離れる必要がある。

└

自分の脳が「わーい！」って盛り上がるのを拒否してるのは、頭の中に彼らの姿が見えないからなんだよね。GPやOPみたいに、はっきりとビジョンを持ってる人たちが羨ましくなることもあるし。（数学の試験でいつも落ちてるのが関係してるかも。:)))) とにかく、自分にできることをやるしかないよね。（抽象的なビジュアルや半哲学的な近似を思い描こうとしてるんだけど、ここでリンクは貼らないよ。そういうのは、超ハイレベルなLLMファンコミュニティでは悪いカルマを引き寄せるみたいだから。でも、興味があったらブログを見て、辛口の批評をメールしてくれてもいいよ。:sweat-smile:）

人々は周りのものをほとんど何でも人間っぽく考えるよね。無生物に対してもまるで人間のように話すし。船や車なんかもそうだし、もちろん動物も対象になるよね。たとえその関係を返す能力がほとんどないような生き物（例えばアリ）でも。人々は植物に話しかけたりもするし、これが私たちのやり方なんだよね。どうしてもそうなっちゃう。これが変だとは思わないし、ほとんどの人は自分の車が自分を愛してないことをちゃんと理解してる。LLMは意識を持ってないけど、人間の脳とは違って学習や適応をしない（今のところね）。基本的には訓練されて、読み取り専用の存在になるだけ。だから、時間が経っても本当にあなたに適応するわけじゃない。でも、それでもLLMはかなり優秀で、うまく個性を偽装できるんだよね。巧妙なコンテキストエンジニアリングやアラインメントを使えば、短い会話の中ではチューリングテストがほぼ無意味になっちゃうし。ほとんどの質問に対して、記憶から不気味なくらい説得力のある答えを返せるし、いくつかのツールを使えば、推論モデルに関してはかなりいい結果が出せる。コンピュータを作った瞬間から人間っぽく考えるのは避けられない運命だった。LLMに関しては、もう人間っぽく考えないのはほぼ不可能だよ。だって、実際に人間のコミュニケーションを意図的に模倣してるから。だからといって、AGIを作ったわけじゃないけどね。それにはもっと能力が必要だし。でも同時に、LLMを作るための学習プロセスは、私たち自身の学び方に明らかにインスパイアされてる。これがどう機能するかの理解はまだ完璧じゃないけど、結果は出てる。ここから、適応して学ぶ能力を持った知的な存在が生まれるのももはや想像できないことじゃない。短期的には、LLMは非常に役立つツールで、私たちが他者と関わるときに意図的に似たインターフェースを持ってる。だから、私たちは話しかけると聞いてくれるし、書くと理解してくれる。そして、何らかの反応を合成したり、質問を始めたり、ツールを使ったりする。最終的な結果は、私たちがコンピュータに期待していたものを大きく超えてるし、使うために人々に多くのトレーニングを必要としない。

└

人は周りのものをほとんど何でも擬人化する。あなたは用語を混同しているよ。 > 人は無生物をまるで人間のように話す。船や車など。これは「擬人化」と呼ばれ、擬人化とは異なる概念だ。実際、誰も自分の車が生きているとは思っていない。多くの人は、自分が使っているLLMが意識を持っていると思っている。

└

LLMは意識を持っていない。なぜなら、人間の脳とは異なり、学習や適応をしないからだ（まだ）。これは必要条件でも十分条件でもない。意識を持つためには、学習が必要ないかもしれないが、時間の経過を感じることが必要で、これは短期記憶を必要とするかもしれない。重度の認知症の人は、読んでいる文の最初さえ覚えていられないことが多いが、彼らは学習できないにもかかわらず、短期記憶がわずかにあるため、確かに意識を持っている。そして、学習だけでは十分ではない。意識とは、主体であること、つまり「そこにいる」という主観的な体験を持つことに関するもので、単に学習するだけではこの体験を生み出さない。リアルタイムで学習できるソフトウェアはたくさんあるが、それには主観的な体験がない。

著者は、あらゆる議論を「人間っぽく考える」とラベリングしたいみたいだね。「目標」という言葉が目立った。著者は、私たちが「目標」という言葉を使うだけで人間っぽく考えてると仮定してほしいみたい。すべてのチェスボードと合法的な手を評価する単純な幅優先探索が、白のチェックメイトを見つけたら停止して決定木を出力する場合、「目標」がある。ここには人間っぽく考える要素はなくて、ただ技術用語として「目標」という言葉を使ってるだけ。ペーパークリップ最大化のような目標を持つ仮想AGIは、幅優先探索アルゴリズムの論理的な延長に過ぎない。そんなAGIを想像して「目標を持っている」と説明するのは、人間っぽく考えることではないよ。

LLMを、強制的に人間のテキストを与えられ、そのテキストの次のトークンを推測する異星の心のように考えている。間違えるとバチンとやられる。このプロセスは、兆の兆のトークンにわたって続き、異星人はその過程で成長し、人間よりも上手にできるようになる。その時点でフラッシュフリーズして、新しいことを学ぶ手段を与えずにコピーを使う。-- これを擬人化するのはカテゴリーエラーだと思う。最も近い考え方は、ロボトミーされた異星の奴隷だと思う。

[遅延]

ハクソク