10年後もLLMはこんな感じだと思う。でも、誰かがもっと良いものを作るかもしれないけどね。今のAIをプログラミングを解決するものに extrapolate する理由は全くないよ。新しいものが持つ制約は、今のものとは全然関係ないだろうし。

私にとっては、ペアプログラミングみたいな感じだね。アイデアを話し合える相手がいるし、コードをレビューしてもらったり、別のアプローチを提案してもらったりする。自分とは違う機能を使っている人から学べるのもいいよね。

チェスみたいなもんだね。今は人間の方が優れているけど、永遠にそうとは限らない。でも、人間とソフトウェアの組み合わせは、どちらか単独よりも長い間優れていると思う。

これは、能力に対して完全に不釣り合いな、強気なアヒルだね。これと話して道を誤った人をたくさん見てきたよ。

実際、LLMアシスタントから得られる価値のかなりの部分は、そこそこ賢いラバーダックと話せることだと思うんだ。「ラバーダックデバッグ」っていう言葉が未来でもまだ使われるのかな。

一緒に働いている何人かは、ソフトウェアエンジニアリングをあまり理解していないみたい。彼らと働くのは悪くないし、実際にコラボレーションやドキュメント作成は得意なんだけど、コードをしっかり追って論理的に理解する能力がないみたい。LLMが出る前は、そういう仕事をしていなかったからまあ大丈夫だったけど、今は微妙なカオスモンキーが解き放たれた感じ。PRで「なんでこうなってるの？何をしてるの？」って聞くと、「わからない、ChatGPTがこうしろって言った」って返ってくる。これが問題で、彼らのコードはほぼすべて疑わしくなっちゃう。動くものもあれば、意味不明なものも、実際に害を及ぼすものもある。LLMが信じられる出力を出すから、コードをチラッと見ただけじゃそれがナンセンスだとわからないんだ。もしクレッドアプリみたいなものであれば、何が動いていて何が壊れているかすぐにわかるけど、私たちは科学ソフトウェアを扱ってるから、コードを理解していないと研究結果を完全に台無しにすることもあるんだよね。

みんながこの会話を飛ばしたいと思ってる大きな質問は、2年後もこれが真実であり続けるのかってことだよね。どう答えたらいいかわからないけど、数年前のトム・スコットの「AIカーブの今どこにいる？」っていう動画を思い出す。

私にとっては、APIに詳しいジュニア開発者が下で働いてる感じなんだけど、アーキテクチャに関する常識が全然ないんだよね。彼らにタスクを任せられるのはいいけど、私の頭は他の問題に使えるから、レビューが以前よりもずっと多くなっちゃった。チームにレビューを頼む前に、毎回3〜4回のレビューサイクルを通してるよ。

同じく。今日、特定のエッジケースでREST APIがどう振る舞うべきかを探るために使ったんだけど、いろんな選択肢について自信満々の意見をくれたんだ。でも、それらは矛盾だらけで、存在しない段落への言及もあった（実現しなかった選択肢3とか）。でも、読んでるだけで解決策が見えてきたよ。それは、提案されたものとは全然違ったけどね。

アヒルは時々意見が合わないこともある それは私の経験とは違うな。LLMは確かに役立ってるけど、一般的には正しい答えをくれるか、信じられそうなけど間違ったことを作り出すかのどっちかだよ。自分が何をしているかを伝えると、いつも息を切らしたような称賛が返ってくるけど、「それは違うと思う、こっちを試してみて」なんてことは一度もない。