Codexのようなものが成功したのは、その成果を「検証」するものが存在したからだよ。既存の非LLMソフトウェア、つまりコンパイラやリンター、コードアナライザーのコレクションね。もう一つの要因は、プログラミング言語の文法が非常に限られていて定義されていること。そういう制約の下では、外部ツールを使って自分を検証するテキストジェネレーターを作るのがずっと簡単だったんだ。生成されたストリームが意味を持つまでループで検証することができるからね。そして、もう一つ「成功した」業界は、出力を検証する必要がないところ。エラーが許容されるか、無関係な場合だね。事実データがあまり含まれていないテキスト、例えばフィクションやビジネス用語、スパムとか。あるいは、特定のピクセルの色がどれでもいいような画像。大まかな一致で十分なんだ。でも、その二つのオプション以外では、あまり他の業界で不正確な言葉やメディアジェネレーターをスケールで使えるところはないよ。内容のないビジネスメールの循環的な書き方や解析？それならいいけど、他にはあまりないね。

テキストを扱う能力の他にも、コーディングがLLMに非常に適している理由はいくつかあると思う。LLMがコンパイラのようなツールにアクセスできるようになったら、何がうまくいくか、何がダメかについての迅速で正確なフィードバックをもとにコードを反復することができるようになったんだ。失敗したテストやコンパイラエラーでもね。これを、パワーポイントのデッキを作成するようなタスクと比べてみて。LLMへのフィードバック（もしあれば）は遅くて、ずっと正確じゃないし、「良い」とされるものはせいぜい主観的だよ。もう一つの例は、LLMが既存のコードを読み解くのが非常に得意になったこと。これは印象的で非常に役立つ能力だけど、コードは私たち人間が意図を表現する最も正確な方法の一つなんだ。何百万回もほぼ決定論的に実行できる指示としてね（バグは別として）。私たちのコードは、非常に小さな語彙と人間の言語よりもずっと簡単な文法を持つ、徹底的に文書化された言語で書かれている。これを、ドイツ語でのZoomコール中にメモを取って、内輪ネタや中断、欠けたコンテキストを理解しようとするのと比べてみて。だけど、最も重要なのは、開発者はLLMにとって最もフレンドリーな人間でなければならないってこと。タスクを小さく分解して、「メモリ」にフィットするようにコンテキストを注意深く管理・キュレーションしたり、より専門的なタスクを持つ小さなエージェントを調整したり、彼らが互いに、そして私たちのツールと話すための新しいプロトコルを作ったり…。プログラミングのように聞こえるかもしれないけど、実際にそうなんだ。

よく考えられた記事ではなく、進展を軽視している。 > 業界は2025年が重要な年になると楽観的である理由があった。過去数年、AIエージェントのClaude CodeやOpenAIのCodexは、多段階のプログラミング問題に対して驚くほど優れた能力を持つようになった。Claude Codeが2025年に登場したことを忘れがちだ。2025年にリリースされたモデルやエージェントは、本当にその力と能力を証明した。予測は間違っていなかった。私は文字通り、コードエージェントを「火をつけて忘れる」ように使っている。Claude Codeは、個人的な問題やプロジェクトを解決するための非常に強力なエージェントインターフェースだ。多くの問題に対するUXとして使っている。これは本質的に、自分でその場で修正できるソフトウェアだ。ほとんどの人は、この劇的なパラダイムシフトをまだ理解していない。まだいいアナロジーは思いついていないけど、Claude Codeを主要なインターフェースとして使う感覚を最もよく表す言葉は「インテリジェンスエンジン」だと思う。例を挙げると、Claude Codeを中心にいくつかのシステムを作ったけど、最新のものは株式ポートフォリオ管理のためのものだ（これは楽しい問題領域で、少し知識があるから）。基本的には、Claude Codeを使ってそのドメインのためのツールを自分で作る感じだ。これがどのように進んだかを見せるね。Claudeと私はプロセスと役割の一般的な流れをブレインストーミングする。その後、各役割が必要とするデータを考え、合理的な価格でそのデータを持っているプロバイダーを調査する。APIキーを購入して、Claudeがツールを接続する（この場合、約140のAPIエンドポイントのためのPythonスクリプトとエージェントのドキュメント）、その後エージェントを構築し、プロセスを呼び出す「スキル」の初期バージョンを作成する。これはこんな感じだ：マクロ経済学者/ストラテジスト -> ファクトチェッカー -> 証券ソーサー -> アナリスト（4種類くらい） -> ファクトチェッカー/統合者 -> ポートフォリオマネージャー。最初の段階では100%完璧ではなく、LLMアプリケーションを構築する際の専門知識に頼らなければならないけど、今はこの研究プロセス全体をオーケストレーションできるClaude Codeのインスタンスがあるし、その場でアドホックな変更もできる。今はこのシステムを約5回の重要なイテレーションを経て進化させたけど、「アプリ内」でできる。もしその一部がうまくいかないなら、メインエージェントにその場で再配線させるだけだ。これは問題に取り組む全く新しい方法だ。

2023年のAiderを忘れないでね。

ちょっと混乱してる。Claudeは数年前のものだよね。

この記事のどれだけが真実で、どれだけがAIによって幻覚されたのか気になる。

同意だね。具体的な答えを見たことがないし、明確でシンプルな言葉で説明できる結果もない。

ここで話しているのは「エージェンティック」なコーディングについてだよ：これは銀の弾丸でもなく、「もうコーディングを知らなくても大丈夫」なツールでもない。今年はClaude Codeを使ってたくさんの作業をした。週に「チケット1枚」くらいのReact開発者から、チームを管理しながら新しいフロントエンド機能セットを出荷する人間に成長した。LLMを使ってこれらの機能を迅速にプロトタイプし、歴史的に一人の開発者では手に負えなかったシンプルな問題の障壁を取り除き、ビジネスの本質的な部分と競合する「あったらいいな」のバックログをクリアにした。このプロトタイピングと「十分に良い」開発は、私の小さな組織にとって非常に影響力があった。難しい問題は分散システム間の複雑な相互作用、サービス間のモニタリング、そして多くの低レベルのマシントラフィックから来ている。LLMのおかげで簡単な問題を解決でき、最も生産的な時間を使って人々と協力して難しい問題を簡単な問題に分解し、後で解決するか、チームの誰かに手伝ってもらうことができる。LLMを使って他の人のコードベースに入り込み、古い技術的負債をリファクタリングし、何年も前のゴミやコピー＆ペーストで埋まったテストスイートを強化することもできた。テストだけでも、LLMはコードにエッジケースを投げかけて、あなたが仮定したこととエントロピー機械が投げかけるものを見比べるのに非常に価値がある。LLMは単独では10倍の生産性向上をもたらすものではない。彼らは100%の確率で、いくつかの問題を合理的で扱いやすい方法で解決できず、しばしば時間を無駄にする愚かなことをする。けれども、彼らは確実に参入障壁を下げ、「純粋な単一技術」（つまりバックエンドのみ、フロントエンドのみ、「Kubernetesを知らない」などの限られた範囲の）ソフトウェアエンジニアを退けることができる。ソフトウェアという分野は「問題を解決する機能的で安全なシステムを構築する」から「200kのバイクシェディングJIRAチケットを作成し、それを管理するために製品チームの軍隊が必要になる」へと大きくシフトしているから、LLMは10年前のように全体のチームのように動くために必要なツールを持つ人々にとって価値がある。

おお、すごくいいアナロジーだね。AIが仕事にとって大きな利益になるって話はたくさんあるけど、具体例やさらなる情報が全然ない。

こういう意見は本当に理解できないな。今の最前線のモデルを使ってる人が、パフォーマンスが大幅に向上してるって感じないわけがないと思う。確かに、まだ有能な開発者を完全に置き換えることはできないけど、少なくとも生産性は倍増するよ。慎重なコードレビューと良いプルリクエストの流れは、LLMが登場する前と同じくらい大事だね。

少なくとも1つのGitHubリポジトリをフォローしてるんだけど（HNのフロントページに載ったこともある有名なやつね）、今はすべてがClaudeでコーディングされてる。物事はすごく早く進んでるけど、正直なところ、品質にはあまり感心してない。いくつかの懸念を提起したけど、いくつかは受け入れられたし、他はClaudeが出した説明で却下された感じ。正直、意味がわからないと思うけど、みんなそれをそのまま受け入れてる。これ、私の個人的な経験とも一致してる。Swiftを知らないのに大きなSwiftのiOSアプリの手伝いを頼まれたことがあって、フロンティアエージェントにもアクセスできた。約1ヶ月の間、毎週いくつかのチケットを処理できたけど、火が消えた後は実際のチームが引き継いだ。オーナーによるコードレビューのおかげで結果はひどくはないけど、素晴らしいわけでもない。結局、SwiftやiOS開発、プロジェクトについてほとんど知識を得られなかった。マネジメントは生産性が上がったことに満足してたけど、これが一時的なもので、ほとんどのコードがこんな風に作られる時代が来るのが怖い。人間はほとんど制度的な知識を蓄積せず、適切にレビューするために必要な知識も持っていない状態になりそう。

msbuild/vsbuildでしか動かない.csprojファイルがあって、これをdotnetと互換性を持たせたかったんだ。Copilotはこれを更新するのが結構上手で、壊れやすいもの（例えば、普通のdllと比べてウェブプロジェクト）を特定するのも得意だよ。単純に放っておくだけではないけど、何が変わるかのリサーチをあまりせずに可能にしてくれた。これはメリットなのかな？AIがなければ、本当にその変換をしたいなら、csprojファイルの内部構造にもっと詳しくなる必要があったと思う。それは失ったメリットだけど、そうするのにもっと時間がかかってたかもしれないし、そうなると変換をする決断をしなかったかもしれない。私の仕事では、csprojに特化した人が必要なわけじゃないし、特に興味もないから、AIに任せつつ、いくつかの質問に答えてもらって好奇心を満たすのがいい妥協だと思った。もう一つの例として、ゴムのアヒルの代わりに使うのにすごくいい。OOPが放棄されて、一つの巨大なクラスがやりすぎな仕事をしているところを見つけたんだ。これを分解する必要があって、AIと話すことでうまくいくデザインパターンを考え出すのに役立った。AIは一度でリファクタリングするほどの力はなかったけど、いくつかのデザインパターンの長所と短所を話し合うのに役立ったし、完成したときのイメージを掴むためのテスト例も作ってくれた。さらに、終わった後にAIにレビューしてもらったら、コンパイルエラーにはならないいくつかのタイプミスを見つけてくれた。これらはAIが単独でできることではなかったし、私がただ漠然としたコード出力を信じるような領域でもなかったけど、全体的には20ドルくらいのコストに見合う生産性の向上だったよ。（今、これは補助金付きのコストだと言われるかもしれないけど、補助金なしのコストは価値がないだろうという意見もある。それについては、私はコストについて十分に詳しくないから確信は持てないけど、その議論は可能性があるように思える。）

昨日、足病医に行ったんだけど、彼がやろうとしているのは、自分が発表した記事や研究論文を使ってLLMエージェントを「トレーニング」して、受付チームよりも早くよくある質問に答えられるチャットボットを作ることなんだって。患者に送るレポートを書くのも早くするために使ってるみたい。長期的には、放射線科医の役割を減らす可能性についても楽観的だったよ。ソフトウェアが画像を解釈して、コンサルタントに送るレポートを書くって感じ。コンサルタントはすでにレポートを画像と照らし合わせて確認するから、AIが潜在的な問題に敏感であることはプラスだよね。誤った結果を捨てる力があれば、もっと悪いものを見逃すこともなくなるし。

AIコーディングツールには基本的に賛成だけど、君の言ってることは大体合ってると思う。狭いタスクに特化したモデル（例えば、薬の発見におけるAlphaFoldみたいな）も増えてくると思うけど、それらは単なる一般的な「AI」じゃなくて、個別の高コストで影響力のある発見に感じるだろうね。私たちの世界は人間の形をしていて、結局「AGI」について語る人は、内心では人工的な人間を意味しているんだと思う。「知性」という言葉が実際に使われる意味は、結局「個々の人間の欲望を追求するための巧みな情報処理」だと思う。だから、人工的な人間を作る以外の方法で「解決」されることはないだろうね。

ロボットは進化してきてるね。人間レベルにはまだ時間がかかるかもしれないけど、一般的な生産には役立つところまで来てるよ。

詐欺師たちは「今年こそ、私たちから買った蛇油がすべての病を治す年になる」と予測するだろう。太陽の下に新しいことはない。

LLMに関する現実と経営者の言葉のギャップの中で、動機について考えてる。経営者や若手開発者、人事、中間管理職が、自社が所有・運営するアドバイスやドキュメントテンプレートのマシンにハマると、Microsoftのような企業には大きな利益があるように見える。彼らの夢中になってる理由は、開発者にとっての生産性向上よりも、そういう取り決めがどれだけ利益を生むかにあるんじゃないかな。BizTalkやDynamics、SharePointがビジネスプロセスをMSスタックに取り込もうとしてるのと同じように、CopilotはMSが適宜推進して絡めるための、常に進化するおべっか的な経営者中心のチャンネルを提供してる。ビジネスのあらゆる部分がリアルタイムで、保存可能なチャットを通じてMSサーバーやAzureサービスに自社の戦略、ツール、プロセスを明かすって、かなり驚くべき取り決めだよね。忙しい顧客に対して、統合やトレンディなAzureサービスを直接売り込むサービスを想像してみて。顧客自身のビジネスプロセスの中で、自由に使えるMCPのような接着剤を通じて？それって、テクノロジー業界の経営者にとっての夢のような自動化された自己指導型の営業だね。彼らは株価を上げてこのLLM推進を正当化するために、仕事を奪うような意識を必要としてない。彼らは私たちよりも限界をよく理解してるよ。

彼らの仕事は自社製品の価値を高めることだ。 それには同意できないな。顧客に「嘘をつく」ことが仕事だとは思わない。彼らはこれを簡単にお金を得る方法だと見てるかもしれないけど、それは彼らの仕事じゃないよ。

経験豊富なエンジニアの意見を読むことで多くの価値を得てきた。彼らは全体的にこの技術を好んでいるけど、私たちの仕事を奪う知覚的なエイリアンだとは思っていない。私は通常、あなたと同じように考えるけど、昨日、足病医と話をしたときに考えさせられることがあった。彼の考えでは、特定の医療職は冗長になるため消えるだろうとのこと。彼の例では放射線科を挙げて、こう説明してくれた。コンサルタントは放射線科医からレポートとX線を受け取る。彼らはレポートを読み、画像と照らし合わせて確認する。彼らはレポートを盲目的に受け入れるわけではない。変わるのは、機械が画像を解釈することを学んで、LLMを使ってレポートを生成できるようになったこと。これらのレポートは、見逃すことは少ないけど、問題を過剰に報告する傾向がある。コンサルタントは手術前に自分でレポートを確認するので、もはや放射線科医は必要ない。もし機械が存在しない腫瘍を報告したら、彼らは腫瘍がないことを確認するだろう。

あなたがその時代にいたかどうかに関わらず、この意見はもう何兆回も繰り返されてるよ。

「ウェブ」と「Eコマース」は、結局かなり巨大な「未解決のニッチ」になったけどね！

大学の時、小さな投資会社で働いてたけど、私にはドットコムバブルとは全然違うと思う。ドットコムバブルは「新しい経済」で、古い経済は永遠に変わってしまったし、死んでしまった。誰もバブルだとは思ってなかったよ。バブルが弾けた時でも、9/11まで私たちは大衆のヒステリーから目を覚まさなかった。ほとんど全員がバブルにいると思ってる「バブル」を他に考えられない。多くの人が、バブルにいないと信じるのは理不尽だと感じるくらいだ。バブルってのは、群衆の狂気であって、群衆の知恵じゃないし、確かに群衆は私たちがバブルにいると信じてるよ。

推論はどんどん改善されてるけど、まだまだ道のりは長いね。 https://arcprize.org/leaderboard

でも彼らは考えない この議論はよく聞くけど、解きほぐしていくとその区別が本当に意味を持つのかはわからない。LLMが考えられないトピックについて、あなたは何を考えることができる？

現行のアルゴリズムは明らかに思考する機械には行き詰まりだね。 この議論はしばしば「思考」の意味についての議論に逸れてしまうことが多い。もし思考を議論を生み出し、評価する能力と定義するなら、認知科学者のスパーバーとメルシエがそうしているように、LLMは確かに議論を生み出しているけど、評価が弱いことがわかる。場合によっては、議論を形式化できることもあって、その場合、評価は解決された問題になる。これは、数学的証明を書くためにLLMと組み合わせてLean証明チェッカーを使う例のように。つまり、LLM単体では行き詰まりかもしれないけど、形式化と組み合わせることで非常に強力になり得る。これは「思考」という言葉でまとめられる人間の能力の全てではないかもしれないけど、重要な要素のように思える。

彼らは考えることができるけど、人間の心が持つような抽象的なプラトン的な方法ではない。

本当の「思考」や「推論」が何かってのは、あんまり関係ないよね。大事なのは、どんな結果が出るかってこと。課題は、どうやって仕事をやり直すか、エージェントが動いて作業をするためにデータソースをつなげることなんだ。これには時間がかかるよ。最終的に「思考」が正しかったかどうかを確認するためのコントロールを整えることも忘れちゃいけない。

Claude Codeにアクセスできる人たちは「いや、確かに推論してるように見える！」って言うかもしれないけど、素晴らしいよね。でも、ほとんどのビジネスは大きなモデルにお金を払ってないと思う。あるF100企業がGPT-4と5年契約を結んで、セッションごとに最大40回の応答、記憶は最大10セッション、バックエンドの統合なしっていう条件で騙されたって話も知ってる。彼らはAIが悪いアイデアだと思うのも無理はないよ。

推論モデルはカウントされないと思う？それに関してはたくさんの研究があるし、RAGのようなものもあるよ。

でも、それは労働力に加わってるわけじゃないよね。あなたの見解はそれができるかもしれないってことだけど、実際にそうなってないっていうのが重要なんだ。Codexはフリーランサーができることのかなりの部分をこなせるかもしれないけど、あなたですらフリーランサーを置き換えられるとは言わなかったよね。すべてのAIエージェントが手を引いてもらわないといけない限り、労働力への影響はコストの増加と質が重要でない出力の増加になるだけだよ。それは労働力の削減じゃない。