世界を動かす技術を、日本語で。

LLMはどのような数学が得意か?

概要

  • 本記事は、OpenAIが数学と理論計算機科学の10大問題を解決した直後の状況を記録
  • LLM(大規模言語モデル)の数学的能力とその限界の現状分析
  • LLMが特に得意とされる「反例発見」の本質的意味とその難しさを論考
  • 量化子(全称・存在)の交代が証明や反例の論理構造に与える影響を考察
  • 数学的な主張の分類やAIの適性分野に関する今後の課題提示

2026年8月初頭におけるLLMと数学問題解決の現状

  • OpenAI が数学・理論計算機科学の 10大未解決問題 を解決した直後の状況記録
  • Non-sofic group の構成や 多色Ramsey数 の超指数関数的成長の証明など、歴史的難問の解決
  • これらの成果は極めて印象的だが、 LLMが全ての数学分野で人間を超えたわけではない 現実
  • LLMの高速な処理能力にもかかわらず、数学的成果の「洪水」とまでは至っていない現状認識
  • LLMの得意分野や改善余地 についての考察の重要性

LLMは「反例発見」に特化しているのか?

  • 最近LLMが解決した著名な問題の多くは 証明よりも反例発見
    • Non-sofic groupの構成
    • 多色Ramsey数の超指数成長
    • Jacobian予想やUnit Distance予想
  • 反例発見がLLMの得意分野と仮定する場合、まず「反例発見とは何か」を厳密に定義する必要性
  • その上で、なぜLLMが反例発見に適しているのかの説明が求められる

反例発見の論理的定義の難しさ

  • 「全てのA型オブジェクトが性質Pを持つ」という主張に対し、 Pを持たないA型オブジェクトを示す のが反例
  • しかし、この単純な定義だけでは Vinogradovの三素数定理 のような場合に当てはまらない
    • Vinogradovの定理:「十分大きな自然数は三つの素数の和で表せる」
    • その否定は「全ての自然数nについて、三素数の和で表せないnが存在する」となるが、Vinogradovの証明は反例発見と呼ばれない
  • 量化子の配置 や「どの変数が本質的か」によって、反例か定理かの分類が変わる

量化子交代と証明の本質

  • 多くの興味深い数学的命題は 量化子の交代 で表現される
    • 例:任意のnに対して、あるオブジェクトX,Yが存在し、ある性質Qを満たす
  • Banach-Mazur compactum の直径問題(Gluskinの結果)も、Vinogradovの定理と論理形式は類似
    • しかし、Gluskinの結果は「反例」や「例」として扱われる一方、Vinogradovの定理は「定理」
  • 本質的な違いは、どの変数が「興味の中心」か、または証明の難しさがどこにあるか

Skolem化・存在命題と全称命題の関係

  • Skolem化 により、全称命題は存在命題に変換可能(選択公理が必要だが十分条件)
  • Gluskinの例も「各nに対して適切なペアを構成するレシピ」とみなせる
  • 一方、「何が反例か」を「私たちの興味」で決めるのは曖昧であり、AIが反例発見に強い理由説明としては不十分

存在命題・全称命題の普遍性

  • 実際の数学研究では、 存在命題の証明 はどの分野でも不可欠
  • 帰納法や命題の強化、補題の構築など、 証明の多様な過程 で存在命題が登場
  • したがって、単に「存在命題の証明がAI向き」という主張は一般化しすぎ

LLMと数学的問題解決能力の今後

  • LLMがどの種類の問題に強いか、どの論理構造がAIに適しているかの 明確な分類は未確立
  • 現時点では「反例発見型の問題に強い」という仮説も 厳密には成立しない
  • 今後の研究課題として、
    • 問題の論理構造とAIの適性の体系的分類
    • どのような証明過程がAIにとって容易かのメタ的分析
    • 数学的発見における人間とAIの役割分担の最適化
  • 2026年8月時点での議論として、 今後の進展記録の一里塚

Hackerたちの意見

Gowersらしい、考え深くて冷静な投稿だね。最後の一文がすごくいいから、ここにそのまま貼っておくよ:

「LLMがより広いクラスの問題で人間レベルに達した良い兆候は、彼らが定理を証明し始めることだ。その方法は、最高の人間数学の多くと同じように、新しくて驚くべきもので、振り返ってみると美しく自然に見えるものだ。偶然に出くわすのが難しい方法であるべきだ。どんな証明がそれに該当するか正確に言うのは難しいが、私たちはそれを見たときに認識するだろう。」

「LLMがより広いクラスの問題で人間レベルに達した良い兆候は、彼らが定理を証明し始めることだ。その方法は、最高の人間数学の多くと同じように、新しくて驚くべきもので、振り返ってみると美しく自然に見えるものだ。」 俺は頭がおかしくなってるのかもしれないし、AGIは俺を置いていくんだろうな…でも、今日、2026年8月中旬に…現在の最先端モデルの能力をテストして、仕事探しのエージェントアプリケーションを実装する文脈で、今日実行したシンプルな社内評価があるんだ。LLMベンダーの公開ベンチマークは信用できないからね…テストしたモデル:GPT-5.6 Sol(エクストラハイモード)とOpus 4.8 Max。 タスクリクエスト:特定のITドメインのフリーランスコンサルティングの仕事を調査するための、長すぎず短すぎない明確なプロンプト。特定のヨーロッパの国で、地理的に近い国に拠点を置く派遣会社からの機会も含めて。 結果:モデルがデータを取得するけど、タスクを完全に誤解して、最初の結果でフリーランスではなく常勤の役割を提供し、エージェンシーのある国に基づいてしまう。例えば、アイルランドのITジョブを考えてみて、フリーランスエージェンシーはロンドンにある。 分析:モデルには知性が見られず、人間が微妙な要素を検出するための認知的努力が必要で、したがってエージェントアプリには全く役に立たない…ベストプラクティスは、エージェントの上にエージェントを追加することだと思うけど、95%のケースではエラーを減らすだろう…残りの5%では、こういう幻覚や論理的幻覚が起こる可能性があって、他の論理的幻覚の上に重なる。定理が証明されることには興味がない。結局、ほとんどの数学者がやっていたことは、同じ組み合わせや抽象パターンを探求していただけだと思う。だから、LLMが多くの数学分野を粉々にするのは確信してる。でも今は、知性と呼ばれるものが重要なところには存在していなくて、エド・ジトロンが言ってる通り、これはただの手品だ。

これはテスト時のスケーリングについての議論だね、投稿ではその言葉を使ってないけど。最近の「テスト時のスケーリング」は、モデルが自分自身と長く話すことを意味することが多いけど、最初の本当に驚くべき結果は単純なサンプリングから来た。GoogleのAlphaCodeは何百万もの候補プログラムを生成して、それを数件の提出に絞り込み、2022年には平均的な人間プログラマーを上回った。ChatGPTが登場する前のことだよ。サンプリングはAIが得意なことだ。例を作ったりLeetCodeを解いたりするのは、検証が明確で安価だから似てる。これに対して、「証明」はまだ曖昧な概念だ。Leanが機能するところを除いてね。ABC予想の騒ぎを見てみて。だから人間はまだ必要だと思う。私にとって興味深い質問は、「サンプリング」から十分に学んだ後に何が起こるかだ。AlphaGoの37手はAIの鼻じゃない?もし数学でそれが起こったら、正しい結果が得られ、機械的にチェック可能で、私たちが満足するような方法で説明できないものになるかもしれない。

ループから外れている人に聞きたいんだけど:ABC予想の騒ぎって何?

グーグルのAlphaCodeは何百万もの候補プログラムを生成した。 無限の猿の問題を避けるのがコツだね。もしあなたの問題が強化学習に適しているなら、LLMは必要ないかもしれない。モンテカルロ木探索で、もっと安価なハードウェアで解決できるよ。

「LLMがより広いクラスの問題で人間レベルに達した良い兆候は、彼らが定理を証明し始めることだ。その方法は、最高の人間数学の多くと同じように、新しくて驚くべきもので、振り返ってみると美しく自然に見えるものだ。偶然に出くわすのが難しい方法であるべきだ。どんな証明がそれに該当するか正確に言うのは難しいが、私たちはそれを見たときに認識するだろう。」 同意する。OpenAIからのこれらの結果を見た後、私たちは間違いなく次のような機械を持っていると思う:

  • 人類が学んできたほぼすべての主題に関する一般的な知識
  • その知識を使って推論をシミュレートする能力(時々あまりうまくないけど)
  • 知識の領域を横断して参照する能力 私にとって、これは「人工一般知能」と考えるものにほぼ相当する。すべての一般的な人間の知性の累積的な知識が人工的な形に焼き込まれ、それを使って新しい目標を達成できるようになる。数学の突破口の多くには、既存のアイデアの組み合わせを知っていて、それを組み合わせて問題を解決するという洞察がある。ここで一般的な知識を持つことが特に強いと思うのは、これらの機械を何週間も連続して実行して、実質的に力技で試すことができるからだ。それを考えると、今の形のLLMがフーリエ変換のようなエレガントなものを発明するとは想像できない。

同じ考えを持ってるよ。「エレガンス」を定義するための良い方法は何だと思う? もし私たちが次のようなメンタルフレームワークを使おうとしたら: ステップ1. LLMが「力技」で検索する ステップ2. このトレースでトレーニングする ステップ3. 次のモデルでは、LLMが内部でこのパスの「ショートカット」を作り、より早く「力技」をする(あるいは最良の場合、一発で) そして最終的には、その定義がこのフレームワークを回避する理由を示したい。

フーリエ変換のようなエレガントで簡潔で役に立つものが、これまで人間の数学者に見逃されていたら、私は非常に驚くだろう。結局、表現可能な定理は数えられるからね(有限のアルファベットに制限すれば)。新しい定理は長くて、非常に複雑で、難解である可能性が高い。人間でも機械でも、どちらの起源でも。

私にとって、これは「人工一般知能」が何かを考えるときのイメージに近い。 それなら、ARC-AGI-3について説明する必要があるね: https://arxiv.org/abs/2603.24621 「私たちのテストでは、人間は環境の100%を解決できることが示されていますが、2026年3月時点での最前線のAIシステムは1%未満のスコアです。」1996年には、EQPがロビンズ予想を自動的に解決した。でも、誰もEQPが一般的に知的だとは結論づけなかったよ。 https://www.cs.unm.edu/~mccune/papers/robbins/

それは、あなたが使った引用の基準とは違うよ。

完全に人間の干渉なしで作られた橋を信頼できる?電車?飛行機?高層ビル?戦争での戦いは?もし信頼できないなら、それはAGIとは言えないと思う。だって、実際には人間の知能に橋や電車、飛行機、高層ビルが安全かどうかを確認させているから。それに、人間が影響を与えたガードレールとかにも頼ってるし。AIが作ったLLMがこれらすべてをできて、子供の命を預けられるときに初めてAGIだと思う。暴力的な犯罪者から子供を守るAGIの警官を信頼できる?もしできないなら、今あるAGIを信じるのは、意味のない空虚な意見に過ぎないよ。

IME、LLMは主にケースをこなすのが得意だから、上限や下限を押し出したり、反例を見つけたりするのが見られるんだよね。数論の証明をClaudeと一緒に数週間やってみたけど、何時間もかけていろんな形の多項式を試しては「進展あり」と報告してた。確かに、いろんなクラスの多項式に対して、俺が証明したかったことを証明してくれたんだけど、無限のクラスの一部を噛み砕いてるだけで、すべての多項式に対して閉じる希望はなかったんだ。でも、反例を見つけるにはいい方法なんだよね。少し違うバージョンの問題を出したら、約90分で反例を見つけてくれた。実際、その関連する問題の反例を見つけたことで、Claudeは最初に証明したかったことを証明できたんだ。反例が存在しない特性に問題を持ち上げて、そこで俺の質問を証明して、元の質問と同じだって証明したんだ。

Hacker Newsで議論の続きを見る