この文献から何か提案ある？

率直に言うのは実は優しさだね。「賢くて第一原理から考えている」と言ってくれてるなら、確かに新しいことを言ってるわけじゃないし、今の雰囲気に対して少し反対意見を言ってるだけだと思う。私の目的は、単に失敗を選り分けることじゃなくて、LLMからあまり良い出力が得られない理由を説明しようとしてるんだ。時にはすごく役立つこともあるしね。私の予測がどうなるか見てみよう。外れたらかなり間違ってるってことになるから。 「失敗が成功を否定する」ってのはできないけど、成功がどうやって達成されるかの理論を否定することはできるよ。そして、2+2=4よりもずっと良い例があるんだ。最近のこととして、ちょっと使える感じのものを挙げてるだけなんだけど。

LLMがブルーベリーの中にいくつのBがあるか数えられない時点で、彼らには全く世界モデルがないってことが明らかだよね。足し算（デジタル論理で数ゲートしか使わないもの）が数十億のノードを持つネットワークの中で特定のノードに過剰適合しているってのは、AI信者の中でも最も宗教的な人以外には驚きでもなんでもない。

https://arxiv.org/abs/2508.01191

それに挑戦すると、ただ謝って自分を修正したふりをするんだよね。最初は正しかったのに！

「世界モデル」は、問題がどの世界にあるかを定義する文脈によって異なる。チェスの場合、どの手が合法か、合法な手を打つために駒の位置を知ることが世界モデルの一部だ。アルファブレンディングの場合、数学的操作であり、前景の透明度に応じて背景の可視性が世界モデルの一部となる。これらの例は、姉妹コメントに挙げられている主要な商業アメリカLLMからのものだ。文脈ウィンドウとチェスの駒を追跡することを混同しているように見える。文脈ウィンドウは10手を覚えるには十分大きい。モデルは駒を追跡するか、ボードがない状態で盲目チェスをすることになると述べるべきで、そうでなければ何をしているのか分からない。実際にそうなっていることが示されている。

自分で書いたのは、与えた大きなタスクの一部としてだから、透明性は理解している Or それは、特定の入力に対してトレーニングデータに広く存在する一般的なステップやパターンの組み合わせかもしれないね。トレーニングセットの中身を正確に知らないと思うけど、私も知らないよ。教えてくれないし ;) > でも、特定の要件に合わせてうまく適応したり組み合わせたりしてるから、「新しい」ことも結構うまく扱えてるみたい。自分たちの仕事や方法の新しさを過大評価しがちだけど、同時に機械がトレーニングするためのデータや情報の広さを過小評価しがちだよね。LLMは非常に洗練されたパターン認識器だ。あなたがやっていることがこれまでに正確に同じように行われたわけではないけど、パターンが適応されているし、アプローチも独自のものかもしれない。 > それは純粋に哲学的な問いだね 確かにそうだね。自分たちに問いかけるべき質問だ。

ありがたいお言葉、感謝です！

「扱う」と「自律的に」はかなり重要な役割を果たしてるね。Cursorはすでにコードベース内のすべてのファイルをインデックス化して、質問をしてすぐに答えを得るのがかなりうまくできてる。目標をどこに設定するかの問題だね。

どれくらいの大きさ？「deal」ってここでは何を意味してるの？自律的に動くって、勝手に動くのか、それともユーザーの指示で動くのか？

「自律的に」って、バグじゃない微妙なアップデートが、クライアントのシステムの他の外部部分のワークフローを壊すかもしれない意味を変えるとき、どうなるの？そんなことはよくあるし、全ての意味やビジネスルールをきちんと書いて最新の状態に保つのは本当に難しいから、LLMはその意味を理解できないかもしれない。もしかしたら、コードやインフラを開発する代わりに、業界全体が意味や意図を明確にするために不可能に正確な仕様書を書く方向にシフトすれば、「自律的に」実現できるかもしれないね。

LLMは仮説を証明するのにかかる時間：無限年

「記号は定義上、物事を表すだけだ。」 ヨネダの補題の教訓を見落としてるね。記号は他の記号との関係によって唯一無二に識別される。もしその関係がテキストで表現されているなら、原則としてLLMによって推測され、ナビゲートされることができる。ただし、テキストでうまく表現されない関係もある。たとえば、ボトルキャップを外すためにどれくらい力を入れるかみたいな暗黙の知識とか。私たちは、あなたの筋肉と脳の間の関係を言葉でうまく捉えられていないから、LLMはそれらを見逃したり、非常に大まかなバージョンしか持てない。でも…それが暗黙の知識の問題なんだよね。コミュニケーションが難しい知識なんだ。

「言語モデルは、言語が世界モデルでないのと同じ理由で、世界モデルではない。」 > 「記号は定義上、物事を表すだけだ。それは物事そのものではない。地図は領域ではなく、説明は説明されるものではない。「水」という言葉で濡れることはできない。」 かなり否定的なことが多いけど、要するに「物のモデルはその物ではない」ってことだよね。まあ、当たり前だけど。モデルなんだから。地図はモデルだし。

まず、（証明できない）真の命題は確実に表現できるよ。できなかったら、不完全性定理は成り立たないからね ;-) 不完全性定理を持ち出す人の中で、実際に何を言ってるのか全く分かってない人の割合が知りたいな。ほとんどの人は証明が何かすら知らないから、それがAGIへの道の障害にはならないよ… 次に、デジタルで表現できるどんな世界モデルも、正しく述べれば同じ議論の対象になるはずだ。LLMだけじゃなくてね。

数学には詳しくないけど、不完全性定理は形式的なシステムに適用されるんだよね？LLMを形式的なシステムだとは考えたことがなかったけど、そうなのかな？

「不完全性定理を受け入れるなら、様々な普遍性定理によって、十分に大きなAGIは人間の神経細胞の発火シーケンスを任意の精度で近似できる。」 だから、不完全性定理が神経ネットワークは真実を見つけられないことを意味するなら、それは人間の脳も真実を見つけられないことを意味する。結局、人間の神経発火パターンは物事を表すだけで、物そのものではない。何かを見る経験は、頭の中で物理的な宇宙を再現することじゃないんだ。

不完全性定理をそんな風に適用できるとは思わないな。LLMは形式的なシステムに縛られてないし。

シンボルは定義上、何かを表すだけだよ。実際のものとは同じじゃない。まず第一に、地図が領域になることについての話じゃなくて、LLMが私たちの脳の中の地図に似た地図を作れるかどうかがポイントなんだ。で、君の哲学的な意見に対して、もし宇宙に有限のものや場所しかないと仮定したら、なぜそれらを有限のシンボルのセットで表現できないの？ 君が拒否しているのはチャーチ・チューリングの定理だよ（要するに、自然のメカニズムを含むすべての機械的プロセスは、シンボリックな計算でシミュレートできるってこと。ただし、弱いバリエーションや強いバリエーションがあるけど）。拒否するのは自由だけど、実際にそう考えている人は少ないよ（ペンローズの脳が普通のデジタルコンピュータでシミュレートできないという非正統的な考えでも、物理的な機械—脳—が私たちの興味のあることを表現できることを受け入れている）。 > 不完全性定理を受け入れるなら、そこに「もし」があるわけじゃない。それは定理だよ。でも、全く関係ない。つまり、ある論理システム、つまり機械的手段では証明も反証もできない数学的命題があるってこと。でも、もし何かが宇宙に存在するなら、それはすでに自然のメカニズムによって証明されているんだ。つまり、もし有限のシンボルのセットが自然の法則を表現できるなら、自然の中のどんなものでもその論理システムで証明できるってこと。これで最初のポイントに戻るけど、自然のメカニズムがシンボルで表現できない唯一の方法は、それが何らかの形で無限である場合、つまり有限の法則に従っていない場合だよ。言い換えれば、物理学が存在しないってこと。まあ、それが本当だとしたら、AIは私たちの心配の中で一番小さい問題だよ。もちろん、物理学が存在するなら、つまり宇宙が有限の法則に支配されているなら、それが未来を予測できることを意味するわけじゃない。なぜなら、それには物事を正確に測定し、自然の中での動作よりも早くシミュレートする必要があるからで、どちらも…難しいんだよね。

ゲーデルの不完全性定理はここではあまり関係ないと思う。人々がそれを適用しようとする場面は多いけど、特に重要なことを言ってない場合が多いから、一般的には公にそれを持ち出さない方がいいと思う。もし自分が示したいことをそこから導き出す方法を慎重に考えたか、少なくとも自信を持って厳密な議論にできるスケッチがあるなら別だけど。これがない場合、せいぜい「おそらくゲーデルの不完全性定理を使って[示したいこと]を示せるかもしれない」と言うのが限界だと思う。さて、真実をエンコードするテキストを出力するプログラムがあると仮定すると、そのプログラムに対応する推論システムを定義できるかもしれない。そうすれば、その推論システムはプログラムが出力する文を「証明」するものと見なされるだろう（おそらく論理的原則に基づいて他の文も含めて、推論システムが良い特性を満たすように）。これを定義した上で、（言語が算術に関する適切な種類の文を作成できるなら）この推論システムがゲーデルの定理によって矛盾しているか不完全であることを示すことができる。これは、その言語がそれらの文を表現できないということではなく、プログラムがそれらの文を出力しないか、プログラムから構築されたシステムが矛盾していることを意味する（推論システムがプログラムからどのように得られるかによって、推論システムが矛盾していることは、プログラムが時々誤ったり矛盾する文を出力することを示唆するだろう）。でも、これは君が言った「プレースホルダー」のこととはほとんど関係ないよ。ゲーデルの定理は、ある命題が特定の言語で表現できないと言っているわけじゃなくて、ある命題が特定の公理+推論システムで証明できないと言っているんだ。不完全性定理よりも、「真実の定義不可能性」の結果の方が、君が言おうとしていることに関連していると思う。それでも、たとえ君が示そうとしていることが真実だとしても、それが君の望む結果を示すとは思わない。たとえば、クオリアを言語で捉えることが不可能かもしれない、確かに納得できる。でも、論理は言語がどんな方法でも（集合的にさえ）参照できないものがあることを示すことはできない。なぜなら、何かを示すためには、それを参照しなければならないから。 ———— 「それのテストスイートを書ける？」うーん、「スイート」として何を数えるかによるかもしれないけど、テストプロトコルなら大丈夫だよ。私が考えているものは、テストに失敗した場合はちょっと高くつくかもしれない（賞金を提供するから）。