AIにコードレビューを頼んだのは先週が最後だったんだけど、余計な行を追加して（妄想して）それをバグだってマークしてきたんだ。確かに、コーディングでは人間に勝ってるけど、すごいね！

2015年、SotAモデルは囲碁のエンジン性能で全ての期待を超えたけど、それがLLMベースのコードエージェントに繋がるまでに約7年かかったんだ（今でもその性能については議論があるし）。これが示してるのは、人間はコンピュータにとって「難しい」問題を理解するのがすごく苦手だってことだと思う。あるいは、タスクを難易度別にグループ化する方法が分からないってことかな（以前「難しい」とされてた分野での成功が、他の似たような難易度の分野でのパフォーマンスに必ずしも繋がるわけじゃない）。これらのモデルがコンテストでどれだけ優れたパフォーマンスを発揮するかは本当に印象的だし、特定の分野での高い可能性を示してるけど、これらのツールの効果をあまり構造化されていない問題空間で測るのは難しいかもしれない。数週間前にしたコメントを引用すると、>「IMOの文章問題は、歴史学のコーパスとはまったく異なる言語空間だという主張が見える気がする」。一つには、英語で表現されていても数学は非常に構造化されているから。用語の定義は完全にあいまいじゃないし、論理的な同語反復はほんの数トークンで表現できるし、などなど。こういうリッチな構造を柔軟なモデルクラスが学べるのは本当にすごいけど、チェスや他の構造化されたゲームで優れているのに近い気がする。歴史的な物語の合成のような曖昧なものとは違って。編集：あ、面白いことに、その引用したコメントは実はあなたへのレスだったんだよね :D

OpenAIがGPT-5でできることと、私がGPT-5でできることには明確な違いがある。先日、線形回帰を生成するためのコードを頼んだら、いくつかの点とそれを通る線の図を返してきた。もしGPT-5が主張通りICPCの全ての問題を解けるなら、どうやって再現できるかの指示を教えてほしい。

今年、SotAモデルはIMO、IoI、ICPCで金メダルを獲得した > でも、最もリポストされてる見出しやレトリックは「壁だ」とか「停滞だ」とか「モデルの退化」とか「冬」とか「バブル」とか、もう終末的な感じばっかり。これは高い量のトレーニングデータを使った狭いニッチでの結果で（みんなleetcodeからトレーニングデータを買ってる）、この結果は全体の産業タスクには必ずしも一般化できない。

サム・アルトマン自身も私たちがバブルにいると思っているみたいで、彼はここでの風向きをよく理解しているはず。ここでの矛盾は、これらのテストがスケールで実行するために必要な典型的なハードウェア制約の下で行われないことに起因していると思います。私が見た限りでは、これが大きな問題の一部です。2024年末、OpenAIはGPT-5を再考しなければならないと気づきました。最初の試みが運用コストが高すぎたからです。これがモデルのリリースを遅らせ、最終的にリリースされたときには、o3と比べて革命的な更新ではなく、せいぜい進化的なものでした。OpenAI自身が発表したベンチマークでは、o3に対して10%の向上が示されていましたが、それにどれだけの現金と1年以上の作業がかかったのかは神のみぞ知る。2023年や2024年にはそんな問題はなかったです。DeepSeekはR2のリリースを遅らせ、Mistralは5月に数週間前に予告したMistral 3 Largeのリリースを遅らせました。どちらからも何が起こっているのかの情報はありません。DSはHuaweiに移行するらしいですが、これが遅延の原因だとは思えません。パフォーマンスの問題とは無関係ではないでしょう。これらの出来事や公の発言を考えると、停滞やバブルについての憶測が出るのはむしろ自然です。個人的には、停滞という言葉が適切かどうかはわかりません。CodexやClaude Codeなど、LLMに関連するツールやプラットフォームの革新がたくさん見られます。これに関してはもっと進展があると思いますし、2026年にはLLM自体のコア改善よりも価値を提供するでしょう。バブルについては、確かに存在していると思いますが、主に市場が非常に熱いからです。AIが崩壊するからではなく、今はゴールドラッシュの時代で製品やサービスが多すぎるからバブルだと思います。企業は失敗するでしょうが、AIが突然私たちを裏切るからではなく、飽和状態になるからです。

まあ、いわゆる博士号レベルのモデルは、消費者のところに届くとまだまだバカだよね。どういうこと？

人々は、世界を非常に低解像度でパターンマッチしてる（web3/クリプト/NFTはバブルだった、だからAIもバブルに違いない！俺は賢い）けど、AIが根本的に違うことを理解できてないんだと思う。みんなAIがどれだけ大きな問題かは理解してるけど、いろんな理由でそれを受け入れたくない、少なくとも公に認めたくないんだよね。人間が無意味になることが一番怖い理由の一つだと思う。

私の意見は、ICPCのようなコーディングコンペティションでのパフォーマンスは、通常のソフトウェアエンジニアリングの仕事に必要なスキルセットとは全然違うってこと。GPT-5は、私の会社のレガシーコードベースを理解できないし、大学を出たばかりの新卒が1日か2日でできるような基本的なタスクでも無理なんだ。最近、壊れたテストを直してもらおうとしたら（私が1つのアサーションを変えたせいで）、テストスイート全体を削除して「成功」って言われたよ。

2日前、水管理の人とデータセンターについて話したんだけど、大手の一社が中規模の町と同じくらいの水を使うセンターを建てたいって言ってた。1週間前には、変圧器を調達するのに10年かかる変電所の話もあったし、その前は閉鎖された石炭火力発電所を買う話だった。モデルの能力にバブルがあるのかは分からないけど、物理経済が提供できるものには確実に限界が来てるよね。50年分のメンテナンスを3ヶ月で取り戻すのは無理だよ。

歴史的に見ると、テスト環境でのAIのパフォーマンスと実世界での影響の間にはギャップがあったから、何度かそのサイクルを経験した人たちは慎重に推測するんだ。2016年にジェフリー・ヒントンが、視覚モデルが5〜10年以内に放射線科医を仕事から追い出すだろうと言ってたけど、10年経った今、アメリカでは放射線科医が不足していて、AIは業界を変革していない。自動運転車のためのDARPAグランドチャレンジは2006年に勝利したけど、20年経った今でも自動運転車は限られた展開しかされていない。現実の世界は、コンピュータ科学者が思っているよりもずっと複雑なんだ。