ハクソク

世界を動かす技術を、日本語で。

LLMは世界モデルではない

2025年8月10日原文(yosefk.com)

概要

  • LLM（大規模言語モデル）は「ワールドモデル」ではない という主張
  • チェスや画像編集などの具体例 でLLMの限界を説明
  • LLMは世界の本質的な構造を理解していない ことを指摘
  • 今後の機械学習のブレイクスルー予測
  • LLMの実用性と限界を区別 する重要性を強調

LLMはワールドモデルではない

  • LLMはワールドモデル（世界の構造理解モデル）ではない という主張
  • LLMが役立たない、または限界がある とは言っていない
  • 巨大なパラメータ数にも関わらず、「世界」を本質的に理解していない という問題提起

チェスの例：盤面理解の欠如

  • LLMは膨大なチェスの棋譜を学習しているが、盤面の状態を追跡できない
  • 定石外の弱い手を指すと、盤面を見失い不正な手を指す現象
  • チェスエンジンと異なり、「どこに駒があるか」を内部で保持しない
  • チェスの知識は「偶然」学んだもので、意図的な設計ではない
  • テキスト分布の予測のみが最適化目標であり、世界理解は副産物

画像編集の例：アルファブレンディングの誤解

  • Kritaなどの画像編集ソフトの「ノーマルブレンドモード」について誤った説明
  • 「色は数値で表現され、ブレンドは必ず計算で行う」ことを理解していない
  • 透明度や色の計算原理の本質的な理解不足
  • 正しい説明をプロンプトで引き出せても、意味を理解しているとは限らない

複雑な概念の誤解と「同意傾向」問題

  • アルファブレンディングの結合法則性（associativity）に関する質問で矛盾した回答
  • キャッシュ処理と結合法則性の関係を論理的に説明できない
  • プロンプトの誘導に流されやすい「同意傾向」や、逆に頑なな態度も見られる
  • 言葉の意味や背後の原理を理解せず、表層的なやり取りに終始

Pythonのスレッド安全性の例

  • Pythonリストのappend操作のスレッド安全性について誤解したまま議論を続ける
  • GIL（グローバルインタプリタロック）除去後の挙動について、設計意図と異なる主張を繰り返す
  • 証拠としてバグ報告を挙げるが、その意味を正しく解釈できていない

LLMの世界理解の度合いと限界

  • LLMが「世界をどれだけモデル化しているか」は定量化困難
  • 一部の知識（例：性別概念）は偶然埋め込まれるが、体系的な世界モデルには至らない
  • 特定の問いに答えられるのは暗記やパターンマッチであり、深い理解ではない
  • LLMは「偶然」世界モデルのようなものを学ぶことがあるが、再現性や汎用性は保証できない

結論と今後の展望

  • LLMは十分なエンジニアリングで実用的に活用可能
  • 本質的なワールドモデルの構築には新たなブレイクスルーが必要
  • 今後、ワールドモデルや少ない学習データで学習できる技術革新が予想される
  • LLMの限界を認識しつつ、実用と研究の両立が重要

このように、 LLMは言葉の分布を学習するだけで、背後の「世界」や「構造」を本質的に理解していない という指摘がなされている。 今後のAI発展には、より汎用的なワールドモデルの構築が不可欠 である。

Hackerたちの意見

このエッセイは、LLMの「解釈可能性」に関する文献にもう少し触れた方がいいかもね。特に、知識（例えば足し算）がニューラルネットワークの中でどう表現されているかについての実証結果とか。正直言って、LLMにたくさん質問して、間違ってるところを選り分けるだけじゃ、新しい洞察には至らない気がする。今の時点では、ちょっと古い感じもするし、LLMが数学オリンピックで金メダルを取るくらいだから、数学の世界モデルはかなり良いと思う。特定の方法で2 + 2 = 4を証明できないことを選り分けても、全然それを否定することにはならないと思う。LLMは完璧な世界モデルを持ってるわけじゃないけど、（人間もそうだしね）。彼らは一般的な知識を持つように訓練されているし、内部の表現が大幅に圧縮されているから、すべてをエンコードするための重みが足りてないんだ。だから、彼らができることには自然な限界があるわけじゃないと思う。

└

この文献から何か提案ある？

└

率直に言うのは実は優しさだね。「賢くて第一原理から考えている」と言ってくれてるなら、確かに新しいことを言ってるわけじゃないし、今の雰囲気に対して少し反対意見を言ってるだけだと思う。私の目的は、単に失敗を選り分けることじゃなくて、LLMからあまり良い出力が得られない理由を説明しようとしてるんだ。時にはすごく役立つこともあるしね。私の予測がどうなるか見てみよう。外れたらかなり間違ってるってことになるから。 「失敗が成功を否定する」ってのはできないけど、成功がどうやって達成されるかの理論を否定することはできるよ。そして、2+2=4よりもずっと良い例があるんだ。最近のこととして、ちょっと使える感じのものを挙げてるだけなんだけど。

└

LLMがブルーベリーの中にいくつのBがあるか数えられない時点で、彼らには全く世界モデルがないってことが明らかだよね。足し算（デジタル論理で数ゲートしか使わないもの）が数十億のノードを持つネットワークの中で特定のノードに過剰適合しているってのは、AI信者の中でも最も宗教的な人以外には驚きでもなんでもない。

└

https://arxiv.org/abs/2508.01191

しないこと：LLMを使ってチェスを対戦させること。すること：LLMを使って、リアルなチェスAIがあなたと対戦している間に雑談させること。これはチェス以外の多くのことにも当てはまるし、LLMの正しい使い方を示してるね。

LLMを見て思い出すのは、大学に行ってた時のチュートリアルだね。週に何回かあって、2人の学生と1人の教授がその週に勉強していることを話し合うんだ。教授が鋭い質問をして、学生がそれに答えようとする。時には、理解していないのに正しい答えを言ってしまうこともあった。どこかで読んだことをそのまま言ってるだけで、特定の言葉が入った文を教授が答えとして受け入れてくれる。でも、時々「うーん、実際には理解してないな」って変な気持ちになることもあった。これがチュートリアルの目的でもあるんだけどね。もう少し突っ込まれると、教授が本当に適切な言葉を出せない質問をしてくるから、バレちゃうんだ。数学のチュートリアルでは、ある方程式が答えを見つけるのに役立つことに気づくけど、その方程式が実際に何を表しているのか全然わからないことがある。経済学のチュートリアルでは、インフレーションや成長、特定の著者について言葉を並べるけど、直感を裏付けるものが何もない。これがLLMがやってることだと思う。実際にモデルを頭の中に持っている人にはとても役立つけど、データが手元にないときにはね。ある立場を支持する証拠を忘れてしまったり、記憶が不完全で議論の一部を見逃したりすることもあるから。そういう場合、LLMは本当に素晴らしい。関連する言葉をつなぎ合わせてくれるから、検討することができる。でも、専門家じゃないときには、全てがプラウザブルに聞こえる。挑戦すると、ただ謝って自分を訂正しようとするだけなんだ。

└

それに挑戦すると、ただ謝って自分を修正したふりをするんだよね。最初は正しかったのに！

この記事は面白いけど、ちょっと浅いね。0(?): 「世界モデル」の定義が提供されてない。チェスをすることなの？コンピュータが数学を使って色を混ぜる事実を覚えていることなの？そうだとしたら、ChatGPTは世界モデルを持ってるってことだよね？1. 著者は文脈ウィンドウとチェスの例で世界をモデル化できていないことを混同しているように見える。最新のモデルにチェスボードの画像や記譜を使って、その位置について質問してみることを挑戦してみてほしい。GMレベルの分析はできないかもしれないけど、何が起こっているのかのモデルは確実に持ってるよ。2. どのLLMを使ったのか説明せずに、これらの例を共有しないのは価値がない。モデルが大きくて良ければ良いほど、世界の内部表現も良くなる。自分で試してみて。世界や物理と関わる質問を考えて、GPT-5 Thinkingに聞いてみて。物事がどう動くかについてかなり良い理解を持ってるから！

└

「世界モデル」は、問題がどの世界にあるかを定義する文脈によって異なる。チェスの場合、どの手が合法か、合法な手を打つために駒の位置を知ることが世界モデルの一部だ。アルファブレンディングの場合、数学的操作であり、前景の透明度に応じて背景の可視性が世界モデルの一部となる。これらの例は、姉妹コメントに挙げられている主要な商業アメリカLLMからのものだ。文脈ウィンドウとチェスの駒を追跡することを混同しているように見える。文脈ウィンドウは10手を覚えるには十分大きい。モデルは駒を追跡するか、ボードがない状態で盲目チェスをすることになると述べるべきで、そうでなければ何をしているのか分からない。実際にそうなっていることが示されている。

色のブレンドや透明性、LLMが「色を知らない」って話はちょっと信じがたいな。毎日LLMを使ってOpenCVで画像処理やコンピュータビジョンのコードを書いてるけど、色空間や解像度、圧縮アーティファクト、フィルタリング、セグメンテーション、人間の知覚なんかをスムーズに考慮してるよ。PNG画像からアルファを取り除くのも、与えた大きなタスクの一部として自分で書いてきたから、透明性は理解してると思う。例えば「画像にざらつきがあるとXの方法で失敗する」って結果を説明すると、何が起こってるかを理解して、コードを適応させてくれるんだ。（実際の画像をアップロードしても動くけど、トークンをめっちゃ消費する！）しかも、あまり探求されていないニッチな分野での話だし。扱ってる画像は小さくて低解像度だけど、ほとんどの文献ではあまり考慮されてないみたい。標準的な技術をうまく使ってるけど、特定の要件に合わせて適応したり組み合わせたりしてるから、「新しい」ことも結構うまく扱えてるみたい。画像やビジョンについて推論して、ニッチな問題に対して動くコードを書けるなら、人間的に「色を知っている」かどうかは哲学的な問いだね。

└

自分で書いたのは、与えた大きなタスクの一部としてだから、透明性は理解している Or それは、特定の入力に対してトレーニングデータに広く存在する一般的なステップやパターンの組み合わせかもしれないね。トレーニングセットの中身を正確に知らないと思うけど、私も知らないよ。教えてくれないし ;) > でも、特定の要件に合わせてうまく適応したり組み合わせたりしてるから、「新しい」ことも結構うまく扱えてるみたい。自分たちの仕事や方法の新しさを過大評価しがちだけど、同時に機械がトレーニングするためのデータや情報の広さを過小評価しがちだよね。LLMは非常に洗練されたパターン認識器だ。あなたがやっていることがこれまでに正確に同じように行われたわけではないけど、パターンが適応されているし、アプローチも独自のものかもしれない。 > それは純粋に哲学的な問いだね 確かにそうだね。自分たちに問いかけるべき質問だ。

Hacker Newsで議論の続きを見る