そうだね、2年で色々あったよね。

聞いたところによると、チョムスキーは脳卒中を患って言語に影響が出たみたい。残念ながら、最近の彼の意見は聞けないだろうね。

チョムスキーはその最後の1時間にいるよ。その部分は異常に良いね、実際にエレガントだよ。

チョムスキーが「言語」と言うときは、「自然言語/人間の言語」を指していて、例えば /[ab]*/ や素数のことじゃないんだよね。

そうだね、人間の言語を学ぶっていうのは、実際には人間がやることによって定義されてるんだよね。彼が指摘してるように、もしその記事が理解できるなら、昆虫のナビゲーションを学ぶのも、昆虫がやることによって定義されてるわけで、人間がデザインしたナビゲーションシステムではないんだ。

チョムスキーが自分の専門的権威を振りかざして、フィールドの中心に居続けるために rant している話がたくさんあるよね。

彼が何を言ってるのか全然わからない。人間は明らかに蟻よりもナビゲーションで優れてるよ。特に、地形に自由にマークを付けられるならね。なんか「言葉にできない性質」とかいうおかしなこと言ってるみたい。

言語学に限定すると、LLMの理解不足っていうのは関係ないと思う。もしLLMが人間の言語を解析する能力を持っているかどうかが問題なら、答えは明らかに「はい」だよ。実際、人間の言語だけじゃなくて、マルチモーダリティで見られるように、同じトランスフォーマーアーキテクチャが構造を持つものをモデル化して生成するのにうまく機能してるんだ。彼がそのエッセイで「普遍文法」を一度も言及しないのが驚きだよ。もしかしたら、人間には本能的に「普遍文法」が組み込まれてるのかもしれないけど、それが解析するために必要だとは明らかに言えないね。明示的な言語ルールや生成構造を設定する必要はないし、十分なデータがあればモデルはそれを生成することを学ぶんだ。誰かが学習した表現から明示的な生成ルールを抽出できるか試したことがあるのかな？「普遍文法」仮説は実際には反証不可能だから、せいぜいプラトン的な表現仮説に同型の一般化された同等物を期待することができるし、すべての人間の言語がある潜在的な表現に沿っていると主張できるんだ。私たちの脳はこのサブスペースで機能するように最適化されているってね。それは少なくともテスト可能な仮定だと思う。LLMが学習した空間の幾何学を逆に工学的に解析しようとすることで。

LLMが人間と同じように意識を持っているかどうか その問題は…人間が意識せずにやっている「賢い」活動がたくさんあるってことだよ。 - 歩いたり、自転車に乗ったり、キーボードを打ったりするのは、各筋肉の動きを意識的に計画することなく流れるように行われる。 - 誰かの文を終わらせたり、文法的に間違っている文を見抜いたりすることも、ルールを説明できないことが多い。 - 部屋に入ると、脳は顔や家具、物をすぐに認識するけど、「あれはテーブルだ」とか「ジョンだ」とか意識的に考えることはない。

残念ながら、あなたは哲学で最も難しい問題（意識）について大雑把な主張をしてしまったことで、自分のポイントを弱めてしまったね。私は実際、LLMが意識を持っていないとは言えないんだ。彼らが非常に異質な方法で意識を持っている可能性は十分あると思う。これは人々にとって非常に奇妙で、潜在的に恐ろしい主張だと理解しているけど、意識がどれほど奇妙で恐ろしいものかを理解してほしい。

コンピュータが「理解」できるように言語を翻訳する方法を見つけたっていうのは、言語学者にとってワクワクすることだと思う。 彼らは本当に興奮してると思うよ。これらの機械を使っている言語学者が不足しているわけではないみたい。でも、言語を理解する能力と翻訳する能力を区別することが重要だと思う。あなた自身が「理解」にクォートを付けているくらいだからね。これは多くの翻訳者にとって、文脈がわからないために正しく翻訳できないことがあるから、しばしば挑戦になる。私たちのコミュニケーションは、話したり書いたりする言葉以上に深いものなんだ。これが言語学の大部分であり、この深さが重要なんだ。（少なくとも、私はそう言われたけど、私は言語学者じゃないからね）これはチョムスキーが言おうとしている区別のようだ。 > 今の主な議論は、「理解」みたいな言葉の意味や、LLMが人間と同じように意識を持っているかどうか（持ってないけど）についてだね。 その通り。ここでは、私はチョムスキーの側にいて、あまり議論の余地はないと思う。私たちは、根本的な因果関係を誤解しながらも、正確な予測を行う長い歴史がある。私のバックグラウンドは物理学で、コンピュータサイエンスに移った（両方の学位を持ってる）、MLに取り組んでる。私は、ヒントンやサッツケバーのようなトップの仲間たちが、ばかげた主張をしているのを見ている。私はそれをばかげていると言うよ、なぜならそれは物理学の分野で私たちが何度も犯してきた間違いだから。何度も学ぶ教訓の一つで、間違いを犯すのがとても簡単なんだ。ヒントンとサッツケバーは、これはバグではなく機能だと言っている。でも、データにフィットするだけでは不十分だってことは知っている。データにフィットすることは、正確でテスト可能な予測をすることを可能にする。でも、根本的な因果構造をモデル化するには不十分なんだ。科学は、間違ったモデルで正確な予測を示す長い歴史がある。単に「間違いの相対性」のようなことだけじゃなくて、もっと直接的に。地心モデルがまだ良い予測をするために使われたことを忘れたのか？コペルニクスは宗教的権威からだけでなく、学者たちからも抵抗に直面した。ガリレオやボルツマン、アインシュタインなども同じだ。人々は彼らの主張を不合理だから拒絶したわけじゃない。彼らの主張には十分な理由があったから拒絶されたんだ。ただ…それが彼らを正しいとは言えなかっただけ。

あの1000次元のベクトル、ワードエンベディングは新しいものじゃないよ。君のコメントの他の部分にはコメントしないけど、そのLLMの側面は「古い」技術だよ。word2vecは11年前に発表されたしね。

「私たちが言語をコンピュータが『理解』できるものに翻訳する方法を見つけたという事実は、言語学者をワクワクさせるべきだ。」いや、全然理解なんてしてないよ。コーディファイと理解や翻訳を混同しないでほしい。LLMは入力を理解してるわけじゃなくて、単に訓練された方法に基づいてそれに対処してるだけ。「そして、ここには非常に反論が難しい事実がある。この方法は機能する。コンピュータに指示を出すと、それを『理解』する。」いや、本当にその指示を理解してるわけじゃない。せいぜい「イディオットサバン」と呼ばれていたものだよ。考えてみて、そんな風に他人を表現してた人たちがいたけど、誰がイディオットなの？お気に入りのLLMにあまり使われていない言語でプログラムを書かせてみて。例えばVMwareのPowerCLI（人気のあるPowerShellだよ）で何か役立つことをさせてみよう。できないから、出力するのは何かしらだけど。PowerCLIはStackoverflowとかではあまり見かけないけど、PSベースだからLLMは新しいスーパーワイルドでハイなヒッピーみたいに妄想するだろうね。

この10年のAIは、少なくとも今のところ、私たち自身の知能やその構成についての理解を深めてはいない。 これには少し反論したいな。確かに自分たちの知能を理解する助けにはなってないけど、逆にそんなものが本当に存在するのか疑問に思わせられた。物理学のように、人間が考えたり決定したりする方法を説明できるシンプルで美しい自然法則はないのかもしれない。CNNが直感的に理解できる階層的な抽象化を通じて顔を認識することを学んだとき、人間がやっていることとの類似性を否定するのは難しい。もしかしたら、すべては進化した混沌とした基盤の出現的特性に過ぎないのかも。ここ10年のAI開発からの大きな教訓は「人間って本当に特別じゃないんだな」ってこと。これは物理学で経験したこととも似てる。理論はしばしば人間の観察者に特別な重要性を与える間違いを犯し、それが後に理論が一般化できない原因だとわかったりするんだよね。

LLMの能力は素晴らしくて役に立つ。 彼がこれに反対しているとは思えなかった。君が言ってたのはこの部分だと思うけど、彼が第二の考えを持っているのは明らかだよ。| 人間の能力を超えるプログラムが開発される可能性は高いのか？「能力」という言葉には注意が必要だね、理由は後で説明するけど。もしこの言葉を人間のパフォーマンスを指すものと考えるなら、答えは「確実にそうだ」だよ。LLMが素晴らしくて役に立たないとは言えないと思う。| 純粋なエンジニアリングと科学の間に大まかな区別をつけられるよ。明確な境界はないけど、これは有用な初歩的な近似だね。純粋なエンジニアリングは、何らかの役に立つ製品を生み出そうとする。科学は理解を求める。これが彼の会話の核心のようだね。彼はエンジニアリングではなく科学の側面について話している。

今のところ、今十年のAIの大きなブレイクスルーは、私たち自身の知性やその構成についての理解を深めてはいない。人々の幻想や、自分の権威やコントロールを犠牲にして、最小の努力で最大の成果を得ようとする姿勢（自動回帰モデルで得られるものに似てる！）は、私には驚くべき洞察だった。

LLMの知性が私たちの知性と深い意味で類似していることが証明されたら、まずはLLMに「知性」を実装しないといけないね。それから比較できる。/s

学者たちが最近のサブシンボリックアプローチのブレイクスルーを、知性について学ぶためのモデルとして軽視しているのが本当に不思議だよね。まるで生化学者が人間の脳を見て、「ここには知性が全くない、ただの電気化学反応がたくさんある」と結論づけているかのようだ。出現の可能性を完全に無視している。誤解しないでほしいけど、「AGIは到達した」とは言ってないよ。ただ、現在のLLMでも人間の言語の発展や科学の進化に対して興味深い教訓があると思う。これらのモデルにおける転移学習の成功は、普遍的な言語能力に関する議論に何を貢献できるのか？LLMシステムと人間の間で相関する不変量はどうなっているのか？

これまでのところ、私たち自身の知性についての理解が大きく深まったわけではない。科学は進歩するけど、目の前でそれが起こっているのを見ると、あまり重要に思えないことが多いんだよね。新しい発見の影響を理解することが少ないから。ここ数年で、知性の背後にある言語の役割が重要だってことがわかったし、概念同士の距離を定量的に表現する方法も見つけた。最近では、新しい推論AIモデルから、人間の推論にも当てはまる直感に反することがわかったんだ。間違ったり不完全な推論でも、正しい結論に達することがよくあるってこと。

それは違うよ、シンボルは統計から生まれるんだ。異なる層で異なる概念を特定したimagenetの分析や、LLMでのアブレーション実験を見てみて。彼らは厳密な形式論理を行っているわけじゃないけど、確実に情報を圧縮してシンボルを使って操作しているよ。

私たちにとって非常に魅力的だよね。そう、なぜなら擬人化は私たちの生物学に組み込まれているから。たった二つの点と弧が、全ての人間に幸せな気持ちを引き起こすんだ。:) > 実用的な応用と本当の価値については議論の余地があるね。今のところ、LLMにとって画期的で役立つ応用は見つかっていない。私たちは信じたいけど、彼らは私たちを幸せにしてくれるから。でも、結果は伴っていない。

私にとって面白いのは、次の質問だね：知性なしで複雑な推論ができるのか？LLMは一発屋以上の存在であることを証明しているみたい。実際、推論や構造化の類似性があるんだよね。LLMの内部で直接行われているか、コンピュータコードによってサポートされているかは関係ない。例えば、最新のLLMであるGemini 2.5やClaude 4は、実際に複雑な推論を行っていると言えるかもしれない。私たちはそれには知性が必要だと当たり前に思っていたけど、もしそうでなかったら？それは知性に対する見方を大きく変えるし、動物の「知性」を定義するためにテストする主要な要素の一つを取り去ることになる。

自動監視を通じてコントロールを行使することを忘れないでね。市民がラインを越えたかどうかを、巨大なオフィスにアナリストを詰め込むことなく検出するために、なんて素晴らしいツールを作ったんだろう。