「ああ、私は理解できないことにだけLLMを使うよ。専門家なら自分でやりたい」と言う人がいると、ちょっと困惑する。出力を効果的にレビューする能力に加えて、自分がその分野の他の専門家のように欲しいことを詳しく説明できるほど、LLMの出力が良くなることに気づいた。これは統計的なテキスト生成エンジンにとって、そんなに驚くべきことではないけどね。

私の質問は、この新しい世界では、ドメインの専門家はどこから来るのかってこと。誰がこのことを知っているんだろう？

私はk8sのデプロイメントの多くをLLMにやらせているんだけど、何かを動かすのはすごく早い。でも、常にクリアテキストで資格情報をコミットしないように秘密を使うようにリマインドしなきゃいけない。これは危険な失敗の仕方だよね。私の場合、トレーニングデータがセキュリティの懸念を省いて基本に焦点を当てたオンラインチュートリアルの例がたくさんあるから、こうなってるのかなって思う。

LLMはデフォルトやフォールバック、救済策をすぐに追加するから、コードが実際には動いていないのに動いているように見えることがすごく簡単になってしまう。これをCLAUDE.mdの3か所で指摘して調整しようとしたけど、それでも時々問題が出るんだよね。

どこかのタイミングでドメインの専門家を信頼することは必ずあるよね。そうじゃないと会社は作れない。問題は、LLMがそのドメインの専門知識を提供できるかどうかだと思う。過去2年間の発展を考えると、明らかにできると思うけど、直線的ではないよね。

参考までに：LLMはオペレーターのスキルの鏡 - https://ghuntley.com/mirrors

時間が経つにつれて、AIコーディングツールはドメイン知識を研究できるようになるよ。現在の「AIリサーチ」ツールはすでにとても優れているけど、まだコーディングツールと統合されていない。リサーチは、公開インターネットだけでなく、内部のドメイン知識を含む会社の文書も見ることができる。一部のドメイン知識は人の頭の中にしかないから、それはユーザーが提供する必要がある。

ほとんどのコードレビューアーが、表面的には良さそうに見えるコードの微妙なバグを見つけるのが苦手だってことには同意する。私はコードレビューの経験がたくさんあるけど、実際にはあまり望んでなかった。そういうのが…私をシニカルで苦々しい気持ちにさせて、誰が書いたかやどんなに見た目が良くても、何も正しいとは信じられなくなった。だって、物事が間違っている可能性をたくさん見てきたから。だから、私はすべての行をレビューして、頭の中でシミュレーションして、問題を見つけるようにしてる。正直言って嫌いなんだ、何かを承認するのに時間がかかりすぎるし、レビューを受ける側もそれが嫌だから、私に送るのを避ける傾向がある。もし私が手でコードを書いていたら、バグが少なくなるだろうとは思う。多分ね。自分でもかなりバカなバグを作ったことがあるから、確信は持てない。でも、各行にかけるKentonの脳のサイクルは確実にもっと多くなるだろう。一方で、私がこのライブラリを書くことはなかっただろうな。やることが多すぎるから（レビューも含めて）。だから、もっとジュニアなエンジニアに任されて、彼らの仕事をレビューしていたと思う。もっと批判的だったかどうかは分からないけど、一つだけ確実に反対するのは、人間がバグのないコードを生み出すという考えだ。私の経験上、そんなのは真剣に受け取れない。言いたくないけど、Claudeが生み出したバグのほとんどは、普通のエンジニアが犯しそうなミスだと思う。余談だけど、今思っている人もいるだろうから言っておくと、今のところ、LLMの使用がCloudflareの人間エンジニアを「置き換える」ことになるとは思っていない。私たちの人間の雇用は、やるべきことの量によって決まるわけじゃなくて、基本的にやりたいことが無限にあるから。制限要因は、私たちが予算を持っているかどうかだ。もし各人間がLLMの使用によって生産性が上がって、これが収益の成長を早めるなら、むしろもっと多くの人を雇えるようになると思う。（免責事項：私のコメントはすべて私の個人的な意見/観察であって、公式な会社の立場ではない。）