LLMの根本的な欠陥だね。彼らがその概念で訓練されていないわけじゃなくて、特定の状況では、どんなテーマの反対意見に対しても強いバイアスをかけることができるってこと。もちろん、反論が訓練データに存在することが前提だけど。これらのAI企業が裏でガードレールを設置するために何をしているのか、ずっと気になってる。ゴールデンゲート・クロードは本当に興味深かったけど、少なくともオープンな研究はあまり見てないな。

これがテック業界の実態だよね。私たちは同意の概念をめちゃくちゃに扱ってる。最近のお気に入りのやり方は、ニュースレターに登録する時の通知バナー。「私たちのニュースレターにサインアップしませんか？はい | 後で考える」って感じで、後で考えるが唯一の否定的な回答って、同意についての理解が全然足りてないってことを示してるよね！

それ、まさにPortal 2のジョークだよね。「あいまいな答えをイエスと解釈する」って、GLaDOSが皮肉っぽく「どう思う？」って返すシーン。

「コマンドプロンプトの出力のスクリーンショットを盲目的に信じちゃダメだよ。会話やLLMが読んでいるファイルが見えないからね。エージェントのファイルや他の文脈を簡単に埋め込んで、使えなくなるまでの足元をすくうことができるから。」

それが良い理由だと思う。半端な前提や、雑に書かれたプロンプトで動いて、欠けてる部分は全部想定してるからね。

「象の問題みたいだね。」

「うん、LLMを使ってる人なら、この会話は無駄だって分かるはずだし、唯一の選択肢は最初からやり直すことだよ。でも、LLMを使い始めたばかりの人や、たまにしか使わない人は、この会話をなんとか続けようとする傾向があるんだよね。彼らが理解していないのは、このやり取りが文脈を完全に腐らせてしまって、会話が続くほどに醜い形で顔を出すってこと。」

みんな、トランスフォーマーアーキテクチャについてもうちょっと読んで、何をしないべきかを言うのが悪いアイデアな理由を理解した方がいいよ。

それは機械だから、何も必要ないよ。

OPは持ち方が間違ってる。オートコンプリートが間違える可能性があるのに、どうしてそれを信頼できるの？A. 信頼しない。確認しろ！

[遅延]

何か他にできることがあるか聞いてみたら？計画に変更を加えるべきか聞いてみるとか？他に手伝えることがあるって繰り返してみて。もし「他に何をするべきなの？」って言ってるなら、今までやったことの反対をするべきなんだよ。

なんで「はい」か「いいえ」の質問をしておいて、「いいえ」を答えとして受け入れないの？（もしかしたら、現代のUXの影響を受けすぎて、「後でかも」って期待してるのかも。/s）

直接的な命令を出しても、それを無視してしまうなら、LLMは生産に適した技術として根本的に欠陥があるみたい。

terraform applyが実行前に確認を求めるのと同じ理由だね。計画と実行の間に、知らないうちに状態が変わることがあるから。もしかしたら、Claudeと一緒に作業する時はそんなに起こらないかもしれないけど、決して「ありえない」とは言わない方がいいよ…明らかに、すべての行動が予想通りとは限らないからね :)

このプロンプトでLLMは何をするべきなんだろう？もしかしたら、ビルドプランを見て何か見落としたことに気づいて考えを変えたのかもしれないし、他にもありふれたシナリオが無限にあるよね。なんか変な質問だな。

俺が望むのは二つ。まず、ユーザーが言ったこととシステムプロンプトを混同しないこと。ユーザーはAIにビルドモードだなんて言ってないからね。次に、普通の人なら「今、何が欲しいの？」とか聞くよね。AIは「ノー」の背後にある意図を理解できるべきだと思う。だって、「ノー」を「ノー」と受け取らない人を許すわけにはいかないからさ！