もっと重要なレベルで言うと、彼らは極端なサポートなしでは、ちょっと複雑なタスクでも本当にうまくいかないことがわかった。小さなプロジェクト（合計2.5K行）でパーサーをリファクタリングさせたかったんだけど、ちょっと絡み合いすぎてたからね。計画を立てたんだけど、見た感じは合理的だったから、段階的に進めるように指示したんだ。チェックポイントも設けてね。彼は「それをやった」と言ったけど、「じゃあ古いアーキテクチャは削除されたの？」って聞いたら、「いいえ、削除されていません」と。新しい構造が古いものの代わりに使われているのか聞いたら、「いいえ、そうなっていません」と。結局、彼が書いたものは実際には正しくなくて、テストスイートの80%が失敗した。サポートを増やして3回やったけど、「リファクタリングしろ」っていう抽象的なタスクには、同じ失敗パターンでうまくいかなかった。クラスZに対して変更XとYを加え、クラスAを削除するように正確に指示しないといけない感じで、そうなると彼に無監視で作業させることができなくなる。これがLLMにやらせる理由の半分なのに。

記事のポイントには同意だけど、私の意見では一番の問題はエージェントがコードリポジトリの一部しか見えないことだと思う。使えるヘルパー関数があるかどうかわからないから、再実装しちゃうんだよね。UIに貢献する時も、全体のUIをチェックして共通のデザインパターンを特定できないから、再発明しちゃう。エージェントを使う人間にとって最も重要なタスクは、正しいコンテキストを提供すること。「このファイルを見てヘルパー関数を探して」、「その実装のようにやって」、「これを読んでどうやるか理解して」…正しいコンテキストを与えれば、エージェントはかなりのところまで行けるよ。（ちなみにもう一つの問題は、大きなモノレポのディレクトリ構造をナビゲートするのが苦手なこと。エージェントがサブディレクトリで'npm test'のようなコマンドを実行する必要があるとき、最初からうまくいくことはほとんどない。）

この議論の中でパターンを感じることが多いんだけど、ある人たちはLLMがどれだけ優れているかを言い、他の人たちはLLMがひどく失敗するって言う。ほとんどいつも最初のグループはシンプルなCRUDアプリや、フロントエンドの「JSフレームワークを使ってデータを表示する」みたいなタスクの例を出すけど、第二のグループは非自明なリファクタリングや、（このスレッドのような）パーサー、leetcodeでは見つからないアルゴリズムの例を出す。テックツイッターは「フルスタックアプリを一発で作る」とか「ゲーム」とかを見せ続けてるけど、いつも非常に平凡なものばかり。コンピュータがそれを自分でできるのはすごいけど、プログラマーにとってはトリビアルなことだったし、今は商品化されてる。

最近、Codex CLIにいくつかのHTMLファイルをリファクタリングさせたんだけど、私が自分でやるみたいにスニペットをコピー＆ペーストするんじゃなくて、記憶から書き直して、コメントを削除してた。複雑なURLのリンクが40個続くセクションがあったんだ。数日後、本番環境にデプロイする直前に、40個のリンクを再確認したくなった。最初のリンクは動いた。二つ目も動いた。三つ目も動いた。四つ目も動いた。今のところ順調。最後の四つを試してみた。完璧。念のため、五つ目を進めたら、404。えっ、変だな。ドメインは正しかったし、URLも合理的に見えた。残りの31リンクも試してみたけど、全部404だった。完全に混乱した。ドメインは常に正しかった。すべてのウェブサイトが同時に内部URLを移動したのは非常に疑わしい。コードのこの部分がLLMを通っていたことすら覚えていなかった。幸い、古いgitコミットから古いURLを取り出せた。URLを注意深く確認したら、LLMがURLのパス部分のほとんどをハルシネートしてた！domain.com/this-article-is-about-foobar-123456/をdomain.com/foobar-is-so-great-162543/...のように置き換えてた。こういう非常に微妙で静かに導入された間違いはかなり危険だよ。気をつけてね！

記事から: > LLMが人間の開発者を置き換えるという考えには異議を唱えます... AIは優れた開発者を置き換えることはできません。今、そんなことを主張しているまともな人はいないと思います。でも、悪い開発者や平凡な開発者は置き換えられるかもしれません。今でもね。私の組織では、6ヶ月のコーディングブートキャンプを経て数年前に雇われた3人の開発者がいましたが、優れた開発者を見つけるのが非常に難しかった時期でした。彼らは苦労していました。簡単なタスクを与えて、レビュー中にPRを整理していました。そしてAIツールがかなり良くなって、彼らを上回るようになったんです。2人を解雇しなければなりませんでした。3人目は自分で辞めました。今でも開発者を雇っていますが、ジュニア開発者を雇うのには非常に慎重になっています。コーディングブートキャンプ出身の人は絶対に雇わないでしょう。他の企業も同じような状況です。ほとんどのブートキャンプはこの理由で倒産したと思います。AIツールは最終的に優れた開発者を置き換えるほど良くなるのでしょうか？わかりません。でも、今のところデータはこれらのツールが時間とともに良くなり続けていることを示しています。そうでないと主張する人は、完全に現実を見失っています。アメリカの初期の歴史では、約90%の人々が農業に従事していました。年月が経つにつれて状況は変わりました。今では約2%が農業に関わっています。農業をしている人は減っていますが、食べ物はもっと多く、種類も豊富になっています。技術がそれを可能にしました。ソフトウェア開発業界でも同じようなことが起こる可能性は十分にあります。どれだけ早く起こるかは、ツールの改善速度次第です。

「もちろん、プロンプトを過剰に設計して、もっと質問させようとすることもできるけど、それは過剰設計じゃなくて設計だよ。『作業を始める前に明確化の質問をしなさい』って、私の経験では素晴らしい質問につながるし、AIツールがコードを書くことがなくても役立つツールだよ。良いプログラマーなら、ツールに完全な仕様を渡すべき時と、仕様に明確化が必要な時を見極めて、必要に応じてツールに質問させることができるはず。」

LLMは価値を提供すると思うよ。今朝、PDFメタデータパーサーのバグを修正するのに使ったけど、PDF仕様を深く理解する必要はなかったからね。でも、ほとんどの場合、自分でやるのと比べて出力が全然効果的じゃないことが多い。先日Codex Codeを試してユニットテストを書こうとしたけど、いくつかセットアップして使いたかったんだ（データをモックするのが面倒だから）。8回くらい試して、手動でコードを修正しなきゃいけなかったし、いくつかのエンティティが廃止されてることを理解できなかった（マークされてるのに、元のサービスが使ってなかったのに）。全体的に、すごくがっかりしたよ。LLMが開発者を置き換えることはできないと思うけど、知らない分野の知識を引き出して、解決策に導いてくれるのは素晴らしい。昔のStack Overflowみたいにね（皮肉なしで）。

エージェントに質問させたくないんだよね。短期的なことを考えすぎてる。今は理想的じゃないけど、頻繁に質問しなきゃならないエージェントは、完全自律コーディングのビジョンには役立たない。人間は自分の短所を直すためにグループに質問するけど、あまり使わない内部システムをマスターしようとするのは意味がない。むしろ、それを維持している人に聞くべきだよ。AIは、私たちが観察可能な道を作れば、この問題を抱えないはず。彼らが使う必要がある異なるシステムを完全に理解するのに、あまり「努力」は必要ないからね。

私の人間は新しいバグを導入することでバグを修正した。典型的だね。一方で、私はリンティングルールを書いたり、アナライザーを作ったり、Stack Overflowを読み終える前に500個のエラーを直したりしてる。レガシーコードについて考えるように頼まないでくれよ — 私は合成物だから、狂ってはいないからね。 — 新しい貢献者が効果的に「SSH」であなたのコードベースに入って、vimじゃなくてsedやawkで編集することを強いられているからといって、その貢献者が他のツールを使えないわけじゃない。そんな制約の中で作業できるってことは、どれだけの可能性があるかを示してる。人間がテキストを消して記憶から再入力するよりは、ずっとマシだし、ファイルの移動方法を教える必要があるという批判は正当だけど、ツールを効果的に使い始めたら何ができるか想像してみて。 — 最近、LLMがe2eテストを動かそうと何時間も奮闘しているのを見た。3つの異なる端末で3つのプロセスを調整しようとしてたんだ。一つの端末でコマンドを実行し続けて、他の端末でポートが使われているかを確認したり、終了させようとしたりしてた。でも、LLMに3つのプロセスを同時に実行するスクリプトを作るように促したら、そのスクリプトを作成して、それを活用し、自律的にテストをデバッグすることができるようになった。私よりもずっと早くね。また、貢献しようとする新しい人間が同じように無駄に時間を浪費するのを防いでくれた。LLMが登場する前に、手作業で簡単にできたことがあったけど、時間がなかっただけなんだ。LLMは、私たちのコードベースに存在する問題を浮き彫りにしているだけだと思う。だから、はい、LLMはバカなミスをするけど、人間もそうだ。違うのは、LLMはそれをもっと早く（そして適切に指導されれば、より良く）特定して修正できるってことだ。

2)についてだけど、codex-5はこの問題に対処しようとした感じがする。codexは通常、掘り下げる前にたくさんの質問をして選択肢を提示してくれる（私が促さなくてもね）。コピー＆ペーストについては、低い実を取るように感じさせた？なんでAIエージェントにはコピー＆ペーストツールがないの？