その通り。LLMのホットテイクを読んで、これがLLMによって書かれた可能性が99%だと思うのは久しぶりだし、今回も例外じゃないね。売られているトレーニング資料が、プロンプトで同じように置き換えられる確率が99%だと思う。

AGIが俺の仕事を奪うっていう前提を受け入れるとして、俺の仕事は仕様書を読んでコードと出力を確認することなんだ。だから、解雇して訴えるための人間が必要なんだよね。その前にふわふわした管理職や企業の無駄が5層もあるし、AGIはその柔軟なスキルに関してはもっと有能だよ。面倒なプロセスの人たちがいなくなったら、フルタイムでバイブスロップをレビューするのも悪くないかも… 足を上げて、温かいコーヒーを飲みながら、自分とエージェントだけで必要なときに悪態をつけるし。会議もないし、問題もない。

一般的に、今は学ぶのにお金がかかる情報ってほとんどないよね。前に立ってる人は、強制的に学ばせるための規律者みたいなもんだ。

ほとんどのことと同じように、真実はどこか中間にあるんじゃない？真のコストや価値を計算するのはすごく難しいけど、もうちょっと頑張ってそれに近づこうとすることで、みんなが得られるものがあると思う。緊張感を二元的に捉えるのはよくあるけど、数字を追う人たちと贅沢なアーティストたちの対立みたいにね。何度も見てきたけど、あんまり役に立たないよね。

あなたはTFAのポイントの一つを示してるね。機能の使用状況を測定するための適切なツールを持っていて、それを全体のユーザーベースの成長や維持率に信頼性をもって関連付けられるチームは、長期的には魔法のような個人のPMやアナリストに頼るチームよりも成果を上げるだろうね。

より正確になろうとする試みは、ソフトウェアの見積もり（例えば、神話の人月）を見ても分かるように、長い間副作用のためにやってきたって主張してきたんだ。だから、€60kを使って少数のユーザーに直接利益をもたらすことが分かっていて、これが四半期ごとに10件の顧客問題を引き起こし、月に1件のバグ修正が必要になる可能性があることを理解したら、指定された利益と同等の価値を引き出すことを確実にしたくなるよね。さらに、指定されていない利益（例えば、これが2%の顧客に役立つってことは、これが重要なニーズだった市場に開放されて、突然25%成長して22%のユーザーが使うようになるかもしれない）も考慮する必要がある。これを計画することはできるけど、最終的には測定する際に多くは「成功」の半定義されたバージョンに従って壁に物を投げてみることになる。でも、本当に市場を制覇するには、特定の問題領域を深く理解し、それを解決するための壮大なビジョンを持ち、実際にそれを実行することが必要なんだ。だいたい、解決するのが一番得意な問題である必要があるよね！

彼の数学は本当に合ってないよ。ソフトウェアを作るのは、少なくとも以前は、それを維持するよりも桁違いに高かった。でも、どれだけお金を稼げるかは無限の可能性がある（置き換えられるまでは）。だから、例えば今年1000万を投資して、200万のARRを生み出す製品を作ったとしたら、エンジニアリングコストをゼロにできれば5年後には元が取れる。さらに、同じチームを使って別の製品を作って、そのプロセスを何度も繰り返すこともできる。だから、エンジニアリングチームは資産なんだ。でも、ギャンブルでもあるよ。今年1000万を投資して、製品が収益を生まなかったら、その賭けに負けたことになる。もう一度賭けるか、みんなを解雇するかを決めることになる。製品や機能が収益を生むかどうかを予測するのは、非常に難しいか、もしかしたら不可能かもしれない。だから、彼の数学はちょっと無意味だね。

その通り。さらに、時には良いソフトウェアが「たった」1%の時間を節約するだけでも、その1%が精神的疲労を引き起こしたり、悪い決断をさせたりすることもあるんだよね。それが、前のバージョンで辞めていた優れたエンジニアを引き留めることもある。

技術的負債に溺れる人間とよく似てるね。ごちゃごちゃしたコードベースが魔法のように修正できるという考えは笑える。だけど、エージェントがリライトをもっと簡単にするかもしれないとは思う。「今、何を作ろうとしていたのか分かったから、今度はちゃんとやろう！」

この記事の部分は、私もあまり気に入らなかった。コードはエージェントによって生成され、エージェントはそれをデバッグできるけど、常に人間が所有することになる。もし明日、AnthropicがClaudeが生成したコードの所有権を持つことにならない限り、それは変わらないよ。

同じく。今、43,000行以上のコードを削除したところだよ。AIコードを本番環境に入れる意味がなくなった。ほとんどの場合、正しい抽象化を使ってないからね。問題にもっとエージェントを投げ込んだり、検証レイヤーを増やしたりしても、機動性を失うだけだよ。たとえそれらがまだ機能することができてもね。

「完全にAI生成の失敗プロジェクトに2つ関わったことがあるけど、エージェントが遅くなるわけじゃなくて、プロジェクトにもっとエージェントを送っても全く進展がなくなるだけなんだ。進展があったとしても、それは間違ってることが多い。これは『神話の男月』とよく似てる。今、エージェントが開発したコードには『神話の機械月』的なことが起きてる。」

AIと一緒に仕事をすればするほど（AIを活用するツールを作ってる）、人間がよくやる注意の失敗に似たところが見えてくる。これを忘れちゃったせいで全てが台無しになったり、さっき言ったことだけど、頭の中がごちゃごちゃしててその部分を忘れたり。昨夜のクロードのケースなんかもそうで、指示を出してる時に別のサーバーにSSHできないって言ってたのに、5回目に戻ったらそのサーバーにSSHしてるのを見つけて、ちゃんと直してくれた！こういうことは人間もやることで、これを言語そのものに直接結びつけることはできないと思う。注意力や文脈の問題で、私たち両方に同じ問題があるんだよね。

もっとカプセル化を進めるべきっていうケースはあるのかな？クラスとテストを定義して、LLMがそれだけに取り組むっていう。

彼はAI/LLMに関するコンサルティングを売ってるんだ。

同じ経験があるよ（ただ、他のコメントに同意するけど、数字はちょっと楽観的だと思う。プロダクト作業には大きなバラつきがあって、良い投資が何かは遅すぎるまで分からないし、これが原因で多くの企業が失敗してる。運良く初期に失敗しなかった企業には大きな生存バイアスがある）。Slackは、何がうまくいくかを見つけるために、プロダクトやエンジニアリングの時間をたくさん使った。あれだけの努力の後で、コピー＆ペーストするのは簡単だけど、そのコピー＆ペーストでは次のSlackにはなれない。マイクロソフトのSlackを潰すTeams戦略にはなるかもしれないけど、そんなのは望んでないよね。もちろん、インフラやメンテナンスコスト、APIの使用や拡張の管理コストについても同意するよ。LLMはそれをやってくれないからね。

そうだね、AIなしで自分の手で2週間でSlackの「クローン」を作れるけど、実際にはSlackと競争できるものにはならないよ。基本的な企業機能の一つを挙げると、私の2週間のSlackクローンは法的保持を適切にサポートできない。これは、製品内のどこでも削除や期限切れのオプションに対して強制的なオーバーライドが必要で、訴訟中に証拠を誤って破壊しないように信頼性を持って機能しなきゃいけない。これを間違えると、大企業には売れないんだ。他にもこんな機能が山ほどある。エンジニアはSlackボット用の使いやすいAPIを求めてるし、ユーザーはリアクションGIFを求めてる。モバイルアプリも必要だし、シングルサインオンも必要。これらは全て基本的な条件なんだ。Microsoft Wordには「機能が多すぎる」というのが何年も前からの定番だった。だから、人々は「最も使われる20%の機能だけを実装した軽量ワードプロセッサ」を売る会社を始めた。でも、ほとんどの会社は跡形もなく消えていった（特定のニッチに特化した数社の例外を除いて）。Googleはついに独占に対抗する進展を見せたけど、そのためには多くの機能に投資したんだ。信じて、シンプルでクリーンな再実装が主要な製品と直接競争できることを願ってる。でも、LLMがSlackをすぐに再実装できると思ってる人は、実際に顧客にソフトウェアを売ることを真剣に考えたことがない完全なバカだよ。

まさに、その「Slackのコア機能の95%」を見た瞬間、著者が何を言ってるのか信じられなくなった。

それを克服するためには、仕様の一部としてもっと階を追加できる必要があることを含めるといいよね。人間でもエージェントでも、あまり明示的にそれを指定することは少なく、暗黙の知識として扱われることが多い。逆に、人間の方がそういうことが多いかも。小さなプロジェクトでK8sを使うことってどれくらいある？

問題は、船を操縦しているMBAたちが、AIがもっとデータセンターを増やすことで全てを解決すると信じていることだ。ギガワットの計算能力について話す時点で、彼らがどれだけ妄想的かがわかるよね。さらに、この妄想がエージェントやハーネス、専門モデル、微調整された派生物に進化する際の副次的な影響も心配するべきだと思う。

デバッグも苦労するだろうね。賢いコードを書けば書くほど、それをデバッグするのは難しいっていう古い格言がある。エージェントが自分の書いた賢いコードをデバッグするのを妨げるものは何もない。だから、私の質問は、もし本番環境がダウンしたら、誰がデバッグするの？10日間も待ってられないよ。