世界を動かす技術を、日本語で。

AIの推論は間違った理由で正しいのか?

概要

  • AIの「推論」能力に関する議論の混乱と進展
  • LRMs(Large Reasoning Models)の実力と限界
  • チェーン・オブ・ソート(思考の連鎖)の信憑性問題
  • 学界・業界の意見対立と最新研究動向
  • AI推論の本質と今後の課題

AI推論能力の現状と混乱

  • AIの推論能力 に対する評価が2024年以降、 大きく揺れ動いている 状況
  • LRMs(Large Reasoning Models) が登場し、 有名な数学問題を一発で解決 した例も登場
  • AppleやSanta Fe Institute などによる批判的研究もあり、「推論の幻想」「表層的ショートカットによる正答」などの指摘
  • Google DeepMindやTerence Tao による数学問題の再発見・改善事例もあり、 AI推論の実力 が誇示される場面も
  • 一方で、 失敗例や限界 も多数報告されており、「ジャギッド・インテリジェンス(不均一な知能)」と呼ばれる現象も話題

チェーン・オブ・ソート(思考の連鎖)の信憑性問題

  • チェーン・オブ・ソート(CoT) は、LLMをより賢く見せるプロンプト手法として2022年頃に登場
  • LRMsはこのCoTを自動生成・活用 するよう訓練されているが、その言語的内容が モデル内部の本当の推論過程を反映していない との指摘が増加
  • Arizona State UniversityやNYU の研究では、「正しい思考の連鎖」を無意味な文字列やデタラメな内容に置き換えても、 モデルの性能がほとんど低下しない ことが判明
  • CoTの多くが因果的に無関係 であることも報告されており、 「推論トレース」自体の意味や有効性に疑問 が生じている

学界・業界の意見対立

  • Kambhampati(Arizona State University) は「中間トークンを思考の証拠と見なすな」と主張
    • AIの本質的能力の過大評価 や「投資目的の楽観的説明」への警鐘
  • OpenAIや一部の研究者 は、過去の否定的研究を「古いモデルの問題」として一蹴
    • 最新モデル(GPT-5.5以降)ではこの問題は解消されている との反論
  • 両者とも「 AI推論モデルが顕著な成果を出すこと自体は否定しない」が、 内部メカニズムの解釈や一般化 については意見が分かれる

AI推論の本質と今後の課題

  • 現実のAI推論モデル は、多くの場合「通常のソフトウェア」や「検証ツール」と組み合わせて動作
    • Google DeepMindのAlphaProof Nexus など、外部ツールによる検証が一般的
  • LRMs単体の「思考部分」 に注目する研究も進行
    • OpenAIは「人間のような推論」をアピール するが、「生の思考トレース」は公開されず、 編集済みの要約のみ が公開
  • Kambhampati は「LLMの拡張にすぎない」としつつ、「 逐次的な推論記述は本質的に困難」との立場
    • 膨大な学習データからの近似的な検索・再構成 による「擬似的推論」仮説

今後の展望と問い

  • AI推論は「本物」と「まやかし」の両面を持つ というパラドックス
  • 推論トレースの意味・因果性・信頼性 の再検証が重要課題
  • 技術進化と科学的理解のギャップ が今後も議論の焦点
  • AIの「推論」概念自体の再定義 が求められる時代

Hackerたちの意見

これがAIの推論を理解するための私の考え方。LRMs、思考の連鎖、思考トークン:これはすべて願望的な記憶術で、ショートハンドとサスペンドされた不信の混ざったものだよ。オプラ風の「現実化」とも言えるけど、コンピュータサイエンスの視点が加わってる。これは必ずしも批判ではないけど、新しい研究にはこの考え方が必要なのは確か。AIの推論が機能しないわけではないけど、「願望的」な部分は依然として強力だと思う。「私たちは言語に対して非常に人間的に反応する。それが人間の働き方なんだ」とミッチェルは言った。最後の部分は本当にその通りだと思う。LLMの出力を読むたびに、誰かが私に話しかけているイメージが浮かぶ。

商業AIプロバイダーがチャットボットのインターフェースから人称代名詞を避けて擬人化を控えるようにする賢明な立法が必要だと思う。「ねえ、カスタマーサービスのチャットボット、私の注文の返金を手伝ってくれる?」悪い例:「もちろん、喜んでお手伝いします。注文の詳細を教えてください…」良い例:「はい、このコンピュータシステムが返金プロセスを開始できます。注文番号を入力してください。」

これらの概念は少し曖昧で手を振るような感じがするけど、これはa) 代替にはならないし、b) ずっと曖昧で根拠がない。

LLMやより複雑な機械学習について読むほど、誰も本当に何が起こっているのか分からないことに気づく。

それは神経ネットワークに関してはほぼ確実ですね。

深層学習がMLの「デフォルト」になって以来、ずっとこういう状態ですね。2018年に「深層学習」のコースを受けたとき、アプローチの最も強調されていた点の一つは、それがどれだけ「ブラックボックス」であるか、そして深層ニューラルネットワークの出力を理解することがどれほど難しい(基本的に非自明なスケールでは不可能)かということでした。これは、より古典的な方法、例えば決定木や基本的な回帰と比べて、ますます極端になってきています。

大学の頃、初期の「ディープラーニング」のCSクラスを受けたんだけど、今はもうその分野はそんな名前じゃないかもね。でも、MLの一部で、今はAIとして再ブランド化されてるやつで、LLMとか画像生成、画像認識とかが含まれてる。どんな授業でも最初は混乱するけど、やってることの数学を理解するようになったら、視覚的な要素を使ってたくさんの反復を見せてくれたおかげで、科学がしっかりと根付いた感じがした。だから、みんなが何もわかってないとは言えないよ。そう感じるようになったのは、すごい盛り上がりがあって、実際には理解してない人たちが他の人に説明しようとした時からだと思うし、最先端のモデルは自分たちの手法を企業秘密にするためにかなり努力してるから、オープンモデルの禁止をロビー活動してまで数学を学ぶことを実質的に禁止しようとしてる。確かに、今の「AI」は、私がそのクラスを受けた時よりもずっと進化してるけど、原則は同じで、違うツールや追加のフィルター、アルゴリズムが加わってるし、特定のプロンプトに対して統計的に最も適切な進むべき道を決定するようになってる。

この議論はちょっと内向的すぎると思う。実際の機能性ではなく、セマンティクスの問題になってしまった。質問は「推論という言葉を使うとき、私たちは何を意味しているのか?」というものになっていて、あまり面白くない。ダイクストラは言った[1]「...コンピュータが考えることができるかどうかという質問は、潜水艦が泳げるかどうかという質問と同じくらい関連性があり、意味がある。」私は「推論」だけが達成できることと、他の方法で近似や模倣できないことの明確な区別が見えないので、この質問は単に意味がないと思う。[1] https://www.cs.utexas.edu/~EWD/transcriptions/EWD08xx/EWD867...

質問や定義のゲームは、私たち自身を理解する手助けになる限り興味深いと思う(私たちの認識された意識の神秘的な特性を説明するもの)や、AIモデルの性能や信頼性を向上させる手助けになる限り面白い。

「推論」だけが達成できることと、他の方法で近似したり模倣したりできないことの明確な境界が見えないので、この質問は単に意味がないか、関連性がないと思います。会話を始める人がいることが、別の人がその定義に進展をもたらす第一歩になるかもしれないので、こんな早い段階で質問全体を拒絶するのは変だと思います。一般的に、LLMツールが過去数年であまり変わらずに生産するサブオプティマルや悪い結果のいくつかの方法を見てきましたが、ツール自体は「少なくとも何か機能的なものが生まれた」という着地を助けるのがずっと上手くなっています。私の意見では、これの多くは「バックトラッキングを含むプロセスとしての推論」に関係しています。そして、最終的にそれに基づいて物事が形式化される可能性があり、それがそうであるかどうかによって、より多くの人が何を引き渡し、何を引き渡さないべきかを理解できるようになるでしょう。また、それらのことを補うためにより良いプロンプトハーネスをどう作るかも。

記事はあなたが言うほどつまらなくないと思います。「推論とは何か」ということではなく、実際に箱の中で何が起こっているのかを知っているのか、そして「推論の連鎖」が何が起こっていることを示しているのか、それとも私たちが理解していると信じ込ませるための擬人化されたフィクションに過ぎないのかということです。

この議論はちょっと内向的すぎると認めます。実際の機能性の問題ではなく、意味論の問題になってしまっていますね。ああ、あなたは科学者のマインドセットよりも投資家のマインドセットに近いんですね。結果が全てで、そこに至る過程はどうでもいいと。ちょっと「ほら、魔法だ!」みたいな匂いがしますね。

Hacker Newsで議論の続きを見る