グロッキングの論文は、重みと肉体の違いを示す良い議論だとは思わないな。例えば、コルチカルラボがポンをプレイすることを学ぶっていうのがある。トークナイザーは、せいぜい感覚メカニズムに過ぎないよ。1) トークン化スキームのランダム生成、2) 大きく異なるトークン化スキームがほぼ同じ挙動を示すことがその証拠。ノア・ウェブスターが可動活字をバケツに放り込んで（単語を半分に割ったりして）ランダムに引いて最初の英語辞書を作ったようなもんだ。追記；トークナイザーを感覚モダリティに例えるのは軽率だったな。最終的なポイントは、直接バイトからトークンへの変換器が似たような全体的なパフォーマンスを達成できるってこと。だから、重みと肉体の比較はかなり簡単だと思うけど、実際に使われているトークナイザーは特定の問題における効率や精度に大きな影響を与えることは間違いないね（例えば、数字の表現とか）。

文法ルールがある そしてそれは重みでできている。

トークナイザーは辞書ではないし、アルファベットも辞書ではないよ。

フラクタル的におかしい フラクタル的なのか、事実的なのか？いろんなレベルでおかしいってことをフラクタルで表現する必要があるってこと？もしそうなら、代わりにニューラルネットワークを使ったらどうなる？

文法ルールはあるけど、人間の言語の構造が一般的にかなり弱いから、ルールもあまり強くない。強い一貫した文法を持つ言語を提示されると、その重みは文法として非常に解釈しやすい。 https://arxiv.org/abs/2201.02177 その論文は「強い一貫した文法を持つ言語」でモデルを訓練したわけじゃない。数学的操作表は言語じゃない。文法自体は事後的な合理化で、LLMが「文法ルール」に従っている証拠は、脳が文法ルールに従っている証拠と同じくらいないよ。もちろん、データセットが求めるなら、トランスフォーマーが単純なルールを学ぶことができないわけじゃないけど。

あと、脳みたいなもの、GPUもあるよ。

トークナイザーは何でできてるか知ってる？重みだよ。

元の短編小説のポイントは、チューリング完全性を持っているとき、計算基盤は重要じゃないってことだよ。それが1991年の話からのあなたの持ち帰りポイントなの？

うん、今は意識が出現的な特性だと思ってる。どこかで読んだんだけど（私のHNの履歴のどこかにあるはず）、今私たちが持てる最大の計算能力は、脳のニューロンや接続（またはその類似物）の数から3、4桁離れているらしいから、機械でそれを見るのはまだ時間がかかるかもしれない。でも、出現現象の仮説が正しければ、いずれはそうなるだろうね。その可能性には嬉しいよりも怖い気持ちの方が強いけど、そういうことだね。

時間は、ゼロでない温度を持つ物がそのまま動くときに展開するエントロピーだよ。心理的な時間は、刺激や内部処理に反応して自分の重みが更新されること。面白いことが起こらないときは、更新が必要ないから、あまり時間を感じないんだ。それが年を取るにつれて「時間の密度」に対する対数効果がある理由だよ。

自分も同じことを考えたことがあるけど、言語学者じゃないんだよね。数学は結構理解してるけど、行列の集まりが人間の言語で会話できるなんて、教わったことがないのにすごいと思う。未知の文字や句読点、文法で書かれた外国語の百科事典を解読するのを想像してみて。しかも、それが他の百万のテキストと同じように補完されてるなんて… どんな計算能力があっても、完全に不可能な気がする。今日は、雇い主のClaudeにMarkdownで書いた短いソフトウェアのユーザーマニュアルを校正してもらったんだ。（LLMを使うのは初めてだった！）文法の間違いだけじゃなく、自分が明示的に示してないルールに従ってないところも指摘してくれたよ。（仕様書みたいに、タイポグラフィのルールを詳しく書いた章はなかったから）ユーザーにとって不明瞭な部分はどこかも聞いてみたんだけど、意外と良い返事が返ってきた。QAテスターに同じフィードバックを求めるのと同じくらい良かったよ。それに、LLMがネット上で誰も話さないような、マニアックな技術仕様書の微妙な技術的詳細を「理解」してるみたいなのも面白い。時間や宇宙については、スティーブン・ウルフラムの理論が興味深いね。彼はきれいな図にちょっと執着してるみたいだけど、時間の伸びが計算の結果だという考え方は、時間、重力、光の速さの関係を想像するよりも魅力的に感じる。

効果を最大限に感じるためには、最初に言及されたオリジナルを読んでね。

知る限り、意識が出現するものではないという反論は、単なる弱い「隙間の神」論か、ハードウェアとソフトウェアを分けたら意識がなくなるというようなナンセンスなアナロジー（例えば、脳を体から取り出したら意識がなくなるのは当たり前だよね）だと思う。うん、オンラインで重みが更新されないと、生きている生物のように更新したり学習したり進化したりすることができなくなるよね…まあ、そういうこと。

明らかに生存の理由から、私たちは自分の活動に対する感覚的・認知的なアクセスを進化させてきたんだよね。自己監視や自己モデル化も含めて。自己モデル化は、すごく密接なループの中で、自分自身と自分のモデル、思考や選択、そしてその思考や選択の経験を一つの要素にまとめてしまう。自転車の車輪の半分だけを分析しても、同じことを話しているとは言えないよね。この意識、モデル化、コントロール、フィードバックループは、体と環境のループから、内部の身体機能のループ、内部の認知・感情のループへと進化して、最終的には経験を認識し、それについて考えたりコミュニケーションしたりする能力にまで至ったんだ。これは偶然ではなく、最適化の激しいプロセスだった。でも、その結果は神秘的ではないよ。認知は常に自分自身の直接的な内部の反射的フィードバックを受け取り、他の情報の流れとともに自己モデルを適応させている。モデルと「オリジナル」は分けられないし、分ける理由もない。世界を見ているわけじゃなくて、自分の心が適応的にフィルタリングした世界のモデルを見ているんだ。フィードバックによって情報を得ているけど、相対的に見れば、自分自身はすごく直接的に「見えて」いる。これは神秘的に感じるけど、明らかに理由があるからなんだよね。そんなものは他にはないから。それは神秘的であることとは違う。実際の経験にはまだ疑問が伴うし、感覚に関するクオリアの経験は、単なる意識的な自己認識以上のものだよ。でも、私たちはまだ自分の心を実験的に分解したり、他の探求をしたりする立場にはいないんだ。おそらく、認知機械がそれを可能にしてくれるだろうし、将来的には脳の生物学を微妙にコントロールすることで、構成要素や一時的な変化を実験する手助けになるかもしれない。でも、その事実やその方法は神秘的ではないよ。（量子力学や「意識のある宇宙」、エジプトのピラミッド、宇宙人、あるいは私たちの意識が周りの世界を作り出したという「理論」などがこの文脈で取り上げられるたびに、人類の無駄にされた可能性を悲しんでいる。）

元の作者に全てのクレジットを。自分はただ類似点を考えただけ。

しわくちゃのマッシュの山を見たことがあって、なんでこんなものがあるんだろうって思ったことがあるなら… それもかなりクレイジーだよね。 https://web.mit.edu/people/dpolicar/writing/prose/text/think...

「彼らは肉でできている」 - テリー・ビッソン、1991年 https://web.mit.edu/people/dpolicar/writing/prose/text/think... ミリアム・トランとラッス・アームストロングによるラジオドラマ: https://www.wnycstudios.org/podcasts/studio/segments/168264-... （編集: オリジナルの親コメントが「むしろオリジナルからのアダプテーション」と抜けてた）

「ビット」を「データビット」と「スイッチングビット」に分けるなんて考えたこともなかったな。回路の観点から見ると、なんとなく理解できるけど、抽象的な「ビット」の観点からすると、「スイッチングビット」はビットに作用するメカニズムで、結局それもデータなんだよね。つまり、ビットは一種類だけ：データビットで、スイッチングはその上に乗っかるものなんだ。