グロッキングの論文は、重みと肉体の違いを示す良い議論だとは思わないな。例えば、コルチカルラボがポンをプレイすることを学ぶっていうのがある。トークナイザーは、せいぜい感覚メカニズムに過ぎないよ。1) トークン化スキームのランダム生成、2) 大きく異なるトークン化スキームがほぼ同じ挙動を示すことがその証拠。ノア・ウェブスターが可動活字をバケツに放り込んで（単語を半分に割ったりして）ランダムに引いて最初の英語辞書を作ったようなもんだ。追記；トークナイザーを感覚モダリティに例えるのは軽率だったな。最終的なポイントは、直接バイトからトークンへの変換器が似たような全体的なパフォーマンスを達成できるってこと。だから、重みと肉体の比較はかなり簡単だと思うけど、実際に使われているトークナイザーは特定の問題における効率や精度に大きな影響を与えることは間違いないね（例えば、数字の表現とか）。

文法ルールがある そしてそれは重みでできている。

トークナイザーは辞書ではないし、アルファベットも辞書ではないよ。

フラクタル的におかしい フラクタル的なのか、事実的なのか？いろんなレベルでおかしいってことをフラクタルで表現する必要があるってこと？もしそうなら、代わりにニューラルネットワークを使ったらどうなる？

文法ルールはあるけど、人間の言語の構造が一般的にかなり弱いから、ルールもあまり強くない。強い一貫した文法を持つ言語を提示されると、その重みは文法として非常に解釈しやすい。 https://arxiv.org/abs/2201.02177 その論文は「強い一貫した文法を持つ言語」でモデルを訓練したわけじゃない。数学的操作表は言語じゃない。文法自体は事後的な合理化で、LLMが「文法ルール」に従っている証拠は、脳が文法ルールに従っている証拠と同じくらいないよ。もちろん、データセットが求めるなら、トランスフォーマーが単純なルールを学ぶことができないわけじゃないけど。

あと、脳みたいなもの、GPUもあるよ。

トークナイザーは何でできてるか知ってる？重みだよ。

元の短編小説のポイントは、チューリング完全性を持っているとき、計算基盤は重要じゃないってことだよ。それが1991年の話からのあなたの持ち帰りポイントなの？

うん、今は意識が出現的な特性だと思ってる。どこかで読んだんだけど（私のHNの履歴のどこかにあるはず）、今私たちが持てる最大の計算能力は、脳のニューロンや接続（またはその類似物）の数から3、4桁離れているらしいから、機械でそれを見るのはまだ時間がかかるかもしれない。でも、出現現象の仮説が正しければ、いずれはそうなるだろうね。その可能性には嬉しいよりも怖い気持ちの方が強いけど、そういうことだね。

時間は、ゼロでない温度を持つ物がそのまま動くときに展開するエントロピーだよ。心理的な時間は、刺激や内部処理に反応して自分の重みが更新されること。面白いことが起こらないときは、更新が必要ないから、あまり時間を感じないんだ。それが年を取るにつれて「時間の密度」に対する対数効果がある理由だよ。