これ、宣伝みたいに読めるね。コーディングAIは、少しでも複雑なことに苦労してるし、クソみたいなことを作って研究として提示してる。テストは「return true」みたいなもので、君が下した決定に疑問を持つこともない。あの20人のエンジニアはあまり成果を出してなかったんじゃないかな。

Michelin星付きレストランで11年間シェフをやってた。好きなポジションの一つは皿洗いだった。目標は常に5分サイクルで機械を動かし続けることだった。皿をラックに入れて、洗って、前のサイクルが終わるのを待ってすぐに機械に入れられるようにすることが大事だった。そして、サイクルが終わったら乾かして片付けて、品質を確認して、見逃した場所がないようにする。機械が止まったら、次のバッチを入れるために他のことを全部中断しないといけなかった。機械を動かし続けることが、皿が積み上がるのを防ぐ唯一の方法だったから、タワーが崩れて皿が割れることになる。これには素早く動く器用さが必要なんだ。AIコーディングエージェントはその機械に似てる。俺の仕事はプロンプトを書くことと、サイクルが終わった後の品質管理とハウスキーピングだよ。それでも、全自動化のように、今のところは人間がまだ必要なんだ。

俺のこのツールに対する経験は、全然そんなもんじゃない。もし本当に20人の組織の仕事を一人でできるなら、ビジネスを始めた方がいいよ。

確かに怖い部分もある。でも、俺の組織でもトレンドを見つけてるよ。優れた非AI開発者は、AIを使って開発するのが上手い傾向がある。AIはまだ要件を忘れちゃうし、今は企業向けの「SAAS置き換え」アプリケーションのデザインを試みて実験中なんだ。AIは完全に説得力のあるプロジェクト計画を出すことができるけど、誰かがその計画を実行しようとするとギャップが出てくる。ここで、適切で経験豊富な開発者が正しいタイミングで手助けできるんだ。これが新しい世界に踏み出す正しい方法かはわからないけど、少なくとも俺は自分の組織がこの技術をどう使っているかの最前線にいるように頑張ってるよ。これは、俺のスキルとAIの能力の限界を試す良いエクササイズだと思った。成功は期待してないけど。

AIの使い方、間違ってたかも。こういう証言、全然理解できない。AIを使おうとすると、ほとんどの場合、めちゃくちゃになって、結局全部書き直さなきゃいけないんだよね。

今日の時点で、知られているAIコードボットは、新卒や夏のインターンを面接するために使う50以上のプログラミング演習を正しく解くことができるものは一つもない。ゼロだよ！中学校の数学を使って20行未満で解けるレベル1の問題ですら、解けないんだから。

残念だけど、君はあまり良いプログラマーじゃないね。AIは、君が足し算や掛け算でコンピュータに勝てないのと同じように、何かをすぐに作り出すことができる。でもその後、間違いや誤検知、完全に動かないコードを見つけることになる。そして一番厄介なのは、完全に動かないだけじゃなくて、君がまだ理解していないコードもあるってこと。これが時間を奪うところだよ。今度はそれを見直さなきゃいけないからね。それに、彼らはシステムをより良く設計するわけじゃない。部分的なものは作れるかもしれないけど、複雑なものを与えると、君が10年以上その言語でプログラミングしてきたとしたら、もっとひどい解決策を妄想することになる。今、その「AI生成」したコードが増えるにつれて、この不安定さの問題が倍増するんだ。今、君は信頼できるかどうかも分からないシステムを持っていて、それを修正するために理解できない状態になってる。おめでとう…。私はAIを適度に使ってるけど、得意なタスクには良いからね。スクリプトを生成したり、ちょっとした関数をくれたりして、それを見直す。私のコードを見直してもらうと、私はその言語をよく知ってるから、君の間違いや妄想の一部を捨てて、いくつかの価値のあるものを見つけることができる。さらに、私のコードの問題を見直していると、LLMが存在しないエラーを妄想する必要があることに気づいた。これはLLMが正確でないように見えることの一つだね。それに、問題がちょっとでも典型的でなくなったり、難易度が上がったりすると、もっと不安定になる。結局のところ、人間が必要になるよ。どれくらい必要か、どれくらい改善されるかは分からない。ただ、彼らが信頼できないことと、この「速く生成する不安定さ vs 今はコードベースが分からない」というのが、根本的な障害だと思う。これは非常に難しいか、もしかしたら不可能なことだと思う。

コーディングAIは、私よりもソフトウェアをデザインしたり、コードをレビューしたり、見つけにくいバグを見つけたり、長期プロジェクトを計画したり、研究や文献、私たちのプロジェクトの状況に基づいて意思決定をするのが上手だ。 それは全然真実じゃないよ。ある程度の能力があれば（君がそうだと仮定するけど）、AIはこれらのタスクが苦手だし、経験の浅い人間にも及ばないよ。

コーディングAIは俺よりもソフトウェアをデザインできるなんて絶対にありえない。俺は超速キーボード派で、使えるときはほぼ毎回速いキーボードを使ってる。デバッグスキルには驚かされたこともあるけど（正直、何度もがっかりしたこともある）、速いキーボードでHTML UIをあっという間に作れるのには本当に感心してる。PRをレビューする時に、速いキーボードが欠陥を指摘する能力にも感心してるんだ。要するに、速いキーボードにはたくさんの価値があるけど、プロンプトやスキル、フックをいくら追加しても、モジュール化についていくら詳しく説明しても、「エージェント」は人間と同じようにはソフトウェアをデザインできない。LLMの根底にあるメカニズムが何であれ（次のトークン予測器と呼ぶのはその能力を過小評価してる）、問題を独立して解決できる部分に分解するメカニズムは持っていない。これが真実である限り、ここに変化の兆しは全く見えない。今の最先端の技術は、エージェントがTODOリストを使っているのと同じくらいのものだから、LLMは人間よりも良いデザインはできない。シンプルなCRUD系のビジネスアプリなら、十分にデザインできる場合もある（もっと正確に言うと、問題が小さくてシンプルだから）けど、だからといって一般的なケースでソフトウェアをデザインできるわけではない。

俺はそうは考えてない。コーディングアシスタントと一緒にいる方が、俺一人やコーディングアシスタントだけよりも良いんだ。俺にとっては、俺とコーディングアシスタントの関係が大事で、どちらか一方ではない。だけど、俺はプロのコーダーじゃないし、コーダーとして自分を位置づけてるわけじゃない。プログラミングにはずっと関わってきたけど、タイトルとしては持っていない。製品側やステークホルダー側で働いてきたけど、開発チームと話すことでより深く関わることができた。だから、純粋なコーダーと比べて、コーディングアシスタントと並んで働くのが自然なんだ。