世界を動かす技術を、日本語で。

シグモイドはあなたを救わない

概要

  • 「全ての指数関数的成長は最終的にシグモイド曲線になる」 という議論について解説
  • 技術進歩やAIの能力向上がどこまで続くか の予測の難しさ
  • シグモイド曲線(S字カーブ)と指数関数的成長の実例 紹介
  • Lindyの法則 による予測手法の提案
  • AI能力の将来予測における注意点 の整理

「全ての指数関数は最終的にシグモイドになる」という議論

  • AI分野でよく聞かれる「 全ての指数関数的成長は最終的にシグモイド曲線になる」という主張
  • これは 技術進歩や能力向上が永遠に続くことはない という事実に基づく
  • 物理的・実用的限界により、成長は 最終的に頭打ち になる
  • 例として、 感染症の累積感染者数航空速度記録 など、シグモイド的な成長パターンが観察される
  • AI能力も同様に、どこかで成長が鈍化する可能性

シグモイド曲線の誤認識事例

  • 国連による出生率予測 ・出生率が下がり続けている国で、国連は毎回「そろそろ下げ止まる」と予測 ・実際は予測よりも長く下がり続けるケースが多い
  • 太陽光発電の普及予測 ・世界エネルギー機関(WEO)は毎年「今年は普及が鈍化する」と予測 ・しかし実際には、同じペースで普及が続いている
  • AI能力のMETRグラフの予測失敗 ・Whartonの研究者が「もうすぐ成長が鈍化する」と予測 ・しかし次のモデルで急成長が続き、予測が外れる

成長の鈍化が「今」起こるとは限らない理由

  • 指数関数的成長がシグモイドに移行するタイミング は、予測者の感覚で決まるものではない
  • 実際には、 成長が長く続く場合も多い
  • どれくらい続くかを予測するには、成長の仕組みを理解することが重要

予測手法:Lindyの法則

  • Lindyの法則 :過去に続いてきた期間と同じくらい、今後も続くと考えるのが妥当
  • 例:噴水が10分前に噴出したなら、次の噴出も10分後と予測
  • トレンドの仕組みを全く理解していない場合、Lindyの法則がデフォルトの予測手法

AI能力の将来予測とLindyの法則の適用

  • AI能力は 2017年のGPT-1以降、特に2019年以降急成長 している
  • 何も分からない前提なら、 これまでの成長期間(約7年)と同じくらいは続く と予測
  • パレート分布を仮定した場合、 あと2年未満で鈍化する確率は約22%

トレンド予測における議論のポイント

  • AI能力が「危険なレベル」に到達しないと主張するなら、 その根拠やモデルを明示する必要 ・AIの成長ダイナミクスを明示的にモデル化しているか ・データセンターの成長やアルゴリズム進歩の速度を考慮しているか ・既存の予測モデルとの違いを説明できるか
  • ブラックボックス的にAIを扱うなら、Lindyの法則をデフォルトとすべき理由 も説明する必要

まとめ

  • 全ての指数関数的成長が必ずすぐにシグモイドになるわけではない
  • 成長がどこまで続くかは、その仕組みの理解度による
  • 仕組みが不明な場合は、Lindyの法則で予測するのが妥当
  • トレンドが止まると主張する側に説明責任がある

Hackerたちの意見

あのWhartonのAI能力グラフのY軸が何を示してるのか分からないけど、Opus 4.6がGPT 5.1 Maxの2倍以上の知能や能力を持ってるとはあんまり思えないな。

https://metr.org/time-horizons/ これは線形スケールのリンク。最近の彼の記事はほとんどがクリックベイトのゴミだね。

確かそのグラフは、人間がタスクを解決するのにかかる時間を追跡してるんだと思う(つまり、モデルが通常人間が8時間かかるタスクを扱えるようになったってこと)。見てるタスクによっては、合理的な結果かもしれないね。Opus 4.6が人間が8時間かかるタスクをこなせるのは分かるし、5.1が以前はできなかったタスクだとしたら(5.1は4時間のタスクに「制限」されてると仮定して)。ちょっと恣意的だけど、これが彼らが追跡してる内容だと思う。

この記事によると、「誰かがベンチマークを操作してY軸で上向きのチャートを作るときは、そのトレンドが無限に続かない理由を証明するのはあなたの責任だ。」ってことだね。🙄

Re-BenchとHCASTをチェックしてみて。タスクは明らかに「これをやって、もし次の出力が出たら合格」って形式だね。ウェブサーバーの設定は人間が15分かかるらしいけど、俺はhttps://gist.github.com/willurd/5720255を検索して、Pythonのワンライナーを見つけて、約10秒でコピーできるから、ちょっと驚きだよ。まあ、これは面白いけど、Claudeが8時間未満でできる人間のタスクをこなせるわけじゃないからね。

「知能や能力が2倍以上になる」って言ってる人たちが本当に何を意味してるのか気になる。知能って定義するのが難しいことで有名だし、測るのも大変だよね。線形にスケールするわけじゃないし、実際の測りやすい特性とはゆるくしか相関しないし。プログラミング能力のことを言ってるのか、それとも...?

https://podcasts.apple.com/us/podcast/machine-learning-stree... はMETRについての良い入門書だよ。何を測定するのか、そしてその限界についても触れてる。

最近のAIの進展について面白いのは、ちょうどモーアの法則の「実際にはシグモイドの指数関数」の減少収益の側面に入ったときに起こってるってこと。単純な期待としては、モーアの法則が終わるからAIは遅くなるって考えがちだけど、モデルや現在のシリコンでの実装を考えると、まだめっちゃ非効率的なんだよね。いつか、デジタルの行列演算をアナログのログアンプ行列演算に置き換えるテンソル処理チップが登場するか、メムリスタのブレイクスルーがメモリと計算の壁を壊すかもしれない。ハードウェアに適切な研究資金があれば、AIの上限はかなり高くなると思う。

もうシリコンにモデルを入れたらしくて、めっちゃ速いよ。https://chatjimmy.ai/ 今年から始まる3年の設計目標があって、qwenやdeepseekなどのモデルにもそれが適用されると思う。こういう質のモデルを高速化したら、できることがたくさんあるよ。実際、80〜90%のユースケースは、あなたが言うように、膨れ上がったSOTAじゃなくて、モデルを搭載したシリコンチップで済むかもしれないくらいだよ。

たとえ速度が桁違いに速くても、出力の質には限界があるってことだよね。超人的な推論能力みたいなものはまだ見つかってないし、ただ超人的な(可能性のある)推論速度だけがあるって感じ。

ムーアの法則はボリュームで回避されるよね—データセンターが増えてるから。

個人的には、データに制限されているか、トランスフォーマーアーキテクチャで可能な限界に達していると思う。ハードウェアは効率をもたらすけど、賢いモデルに繋がるかは分からないな。

Hacker Newsで議論の続きを見る