概要
- 最新の大規模言語モデル（LLM）は、推論能力が向上しつつ、パラメータ数も削減傾向
- 数学・コードベンチマークでは、少ないパラメータで高い成績を達成
- 一方、事実知識の記憶・再現は低下し、ハルシネーション率が高い
- 事実は重く、推論手順は圧縮しやすいため、知識よりも推論重視の設計へ
- 知識は外部リソース（ハーネス）に委ね、モデルは推論に集中する流れ
推論能力の向上とパラメータ数の削減
- 最新のGLM-5.2は AIME 2026 で 99.2%、 40Bパラメータ で推論
- Qwen3.5 は 17Bパラメータ で 91.3%、 DeepSeek V4-Flash は 13Bパラメータ で動作
- 2023年の GPT-4 は 280Bパラメータ で、AIME問題をほとんど解けなかった事例
- 小型モデルの Qwen3.5 9B は 6GB VRAM で動作し、10B未満モデルの中で知能指数が倍増
- 数学・コードのベンチマークでは、 パラメータあたりの賢さが飛躍的に向上
事実記憶の低下とハルシネーション
- SimpleQA （事実再現ベンチマーク）では、 Gemini 2.5 Pro が 53% で最高
- 小型モデルはほとんど正答できず、 Qwen3.5 4B/9B は 80～82% のハルシネーション率
- 19世紀のマイナー数学者の生年など、知らない事実は 自信満々に誤答
- パラメータ削減は無料ではなく、知識量とのトレードオフ
パラメータの使い道：推論と知識のトレードオフ
- 事実知識は パラメータ容量を大量に消費
- 「Physics of Language Models」研究によると、 1パラメータあたり2ビット 程度の知識保存
- 全Wikipedia人物の生年やnpm関数の引数順などを全て記憶させるには 巨大なモデルが必要
- 推論手順は 圧縮しやすく、小型モデルへの転写も容易
- Phi-4 のようなモデルは、 推論は得意だが雑学は苦手 というトレーニングデータの反映
モデル設計の方向性：浅く広い知識
- 現在のモデルは 浅く広い知識を持つゼネラリスト
- 例：PostgreSQLの概要や特徴は分かるが、特定バージョンの詳細は知らない
- 幅広い知識は 質問の意図把握や検索範囲の特定 に有用
- 深い知識は 外部リソースから取得、モデル内に保持しない方針
事実の劣化と推論手順の安定性
- モデルのトレーニングが終わった瞬間から 事実は陳腐化
- ライブラリAPIや価格、人物情報などはすぐ変わる
- 事実を重く保存すると 再学習コストが高い
- 推論手順（例：代数や問題分解）は 時代が変わっても不変
- 事実を最小限にし、推論中心にすれば モデルの寿命が延びる
ハーネス（外部知識リソース）の重要性
- モデルが知らない事実は ハーネス （検索・ツール・ドキュメント等）が補完
- 例：コーディングエージェントは APIを記憶せず、実際のドキュメントを参照
- これにより、 知識のリコールがオンデマンド化 し、モデル自体は推論に集中
消費者GPUで動くフロンティアモデルの未来
- 2～3年後には フロンティア級推論力 を持つモデルが 一般GPUで動作可能
- DeepSeek V4-Flash は 13Bパラメータ で推論、 消費者GPUで十分動作
- 残る巨大なパラメータは 主に事実知識の保存 であり、これを省略すればモデルはさらに小型化
- 20～40Bモデル なら 24GB VRAM （2022年以降のゲーミングPC標準）で動作
- ただし、 知識はほとんど持たない ため、事実質問には「知らない」と返し、ハーネスへ委譲
ハルシネーション問題の解決
- 事実がモデル内にあると 誤情報の修正が困難
- 外部知識ベースを参照する場合、 誤答には「住所」があり、修正が容易
- ドキュメントを編集すれば即時反映、再トレーニング不要
- 完全なゼロにはならないが、 出典付きの主張は検証可能
- 外部知識の誤りは 通常のデータバグ として扱え、既存の運用ノウハウが活用可能
- 将来的には knowledge cutoff も不要になり、モデルは 最新情報を実行時に取得
この流れは、「推論力の最大化」と「知識の外部化」による 効率的・持続的なAI運用 を目指す、現代LLM開発の主要トレンドの要約。