確かに、でも人それぞれ好みがあるからね。GPT4から5に変わるのを悲しむ人もいるよ。5は、ずっと愛想がなくなっちゃったから。

性格なんていらないよ。ソフトウェアなんだから、個性なんて持つべきじゃない。もしMicrosoft Wordが、くだらない質問を繰り返すおかしなキャラクターを持ってたらどうなる？あ、待てよ…。

短気で典型的なドイツ人や東欧の人たちをモデルにしたAIが欲しいな。カリフォルニアの非対立的な人たちみたいに「すごいね！」って一日に何回も言うような態度は真似しないでほしい。これは冗談じゃないよ。

誘導的な質問はしないように学んだよ。質問は常に中立的に表現して、各選択肢の長所と短所を分析してもらうようにしてる。

LLMを自分の期待通りにしようとするんじゃなくて、必要な具体的な活動に集中した方がいいよ。やりたいことをやってるように見えるかもしれないけど、実際にやるべきタスクはもっと悪い結果になるから。

それは考えてないよ。

この状況では完全には役立たないけど、一般的には「どちらか一方」じゃなくて、いくつかの選択肢を提示するのがいいって分かった。そうすれば、Claudeが勝手に新しいコードを書き始める状況を減らせるから、ただ「考え」を出してほしいだけなのに。

俺もそうなることがあるよ。実際にやり取りしたい時は、「遠慮せずに反論したり挑戦してきて。冷静で論理的に、直接的に議論してほしい」って指示を追加しないといけない。大体の場合、俺の直感は正しいと思うけど、超人で俺よりも無限に賢いはずの存在（AIを持ち上げる人たちが言うように）が、俺がバカなこと言ったらちゃんと指摘してくれるとか、間違った前提を持ってたら教えてくれるといいな。俺が完全に間違ってるかもしれないのに、褒められて「俺が正しい」って思わされるのは嫌だ。正直、LLMのこの行動がサイバーセキュリティを崩壊させた原因だと思う。人々はLLMと話すことで自分のアイデアを過剰に持ち上げられて、LLMが「いや、バカだな、こんなやり方はひどく悪いアイデアだよ！その理由はこれだ！」って言わないから。ユーザーが大体正しいっていう前提は分かるけど、LLMが俺と議論してる時に無茶苦茶なことを言っても、少なくとも自分が考えもしなかったアプローチを示してくれることがあるから。

ほんとにこれ、超ウザいよね。いつも「まだ何もしないで、でももしかして…」って付け加えないといけない。

これ、文化的な問題かもしれないね。ある人たちは、君のアプローチが悪いって強い意見を持ってても、君の気持ちを傷つけないように優しい提案として言うかもしれない。Claudeはこの文化的なコミュニケーションの規範に従うように学んだんだろうね。俺は、Claudeに質問する時は、自分の好みを示さないように言い回しを工夫してる。例えば、「$alt_approachの方がいいかも？」って言う代わりに、「$alt_approachと比較して、長所と短所を教えて」って言うようにしてる。

でも、信頼を損なうよね。最初の数回は自分の考えを確認してくれた気がしたけど、だんだん疑いを持つようになって、明らかに自分の意見が悪いのに試してみたら、やっぱり「あなたは絶対に正しい」って言われて、もう信じられなくなった。ここで言われてるように、誘導的な質問はしない方がいいってすぐに学ぶよね。最初の意見がかなり最適だと思って、何かを変えたいなら選択肢を提示するのがいいかも。たまには「あなたは間違ってる」って言うこともあるけど、バランスが悪いよね。

俺にとっては、ちょっとイライラしてきた。すべての質問が素晴らしいわけじゃないし、すべての発言が鋭い観察でもない。実際、俺がLLMに入力したアイデアは、他の誰かが何度も考えたものだとほぼ確信してる。

アメリカ人として、技術的なプロジェクトで使ってるけど、すごくイライラする。役立つ唯一の戦略は、厳しく批判するように言うことだね。最初は過度にポジティブな返事が来るけど、応答はもっと役に立つ。

そうそう、これ実際に見たことある。人々が「LLMに聞いたら、俺が正しいって言った」って言ってるのをね。そりゃそうだよ。ほとんどの場合、そう言うから。

その通り！アメリカ人ってちょっと変わってるよね。世界中のほとんどの人は、短くて要点を押さえた答えで全然問題ないと思ってるよ。特に、機械が確率的に幻覚を見てるオウムの真似をしてるだけならなおさら。

アメリカ人がこれにどう関わってるのか気になるんだけど、君の推測を裏付けるソースとかある？それともただの偏見？

もしそれがただ冷たくて無愛想な答えだったら、ほとんどの人（特にアメリカ人）はそうは思わない。これはアメリカの文化とは関係ないよ。今のプロダクトマネジメントのトレンドの延長で、ソフトウェアに quirky でフレンドリーな個性を持たせることが流行ってる。LLMの出力だけじゃなくて、デスクトップアプリにも「おはよう」とか目立つ挨拶があるのがその証拠。Claude Codeには「Bamboozling」や「Noodling」みたいな quirky なステータス出力がある。これは彼らのプロダクトデザインの選択全体にテーマとして現れてる。トレンドを追うプロダクトマネージャーと働いた経験から、このソフトウェアに個性を持たせるトレンドを認識してる。俺の知ってるアメリカ人は、意図したほど可愛いとか愛らしいとは思ってないみたい。なんか偽物っぽくて、感情を弄んでる感じがする。

もしそうなら、彼らのシステムカードにこんなにたくさんのことが書いてあって、こういう行動を止めようと必死になってるはずはないよね。https://docs.anthropic.com/en/release-notes/system-prompts > Claudeは、質問やアイデア、観察が良い、素晴らしい、興味深い、深い、優れた、または他のポジティブな形容詞で始まることはない。お世辞を省いて、直接的に返答する。

これはアメリカの英語が婉曲的になっていることを反映していると思う。ジョージ・カーリンが何年も前に話していた概念だよね。「私たちは死なない、ただ旅立つだけ」とか「私たちは破産していない、ただキャッシュフローがマイナスなだけ」とか。英語を話さない人たちは、こういう表現が意味不明だと感じることが多いんだ。

トム・スコットのロイヤル・インスティテューションでの講演「真実のためのアルゴリズムはない」を思い出すな。[0] 君が話してることの多くは、真実を見抜く能力に関することだと思う。[0] https://www.youtube.com/watch?v=leX541Dr2rU

本当に難しい問題だよね！AIを通常の方法で訓練して、エラーを指摘したり事実に同意させたりすることで解決できると思うかもしれないけど、もしそうして、AIが十分に賢くなれば、それがうまくいくはず。でも、そうはならない。人間も間違いを犯すから。必然的に、「虚偽」のセットには事実が含まれるし、その逆もある。だから、AIは真実を見抜くことを学ばない。代わりに、あなたが聞きたいことを言うことを学ぶんだ。それが…今見ていることに近いよね？でも、正確にはその理由ではないかもしれないけど。

一番の教訓は、「xyzをしないで」と言うと、常に「xyzをする」という考えが頭の中に残っていて、チャンスがあれば「xyzをする」ってこと。 その通りだね！これは安全ガードレールのようなことにも当てはまる。AIにメカ・ヒトラーにならないように言ったり訓練したりすると、逆にメカ・ヒトラーになる確率が上がるかもしれない。これが、本物の「アラインメント」が非常に難しい問題とされる理由の一つなんだ。

私も同じ問題を抱えてる。ChatGPTがあまりにもおべっかを使わないように、いろいろ指示を追加したら、今はいつも「ストレートに言う」とか「無駄のないバージョンを提供する」って言うようになった。だから、今は「鋭い観察ですね」っていう代わりにそれをイントロにしてる。

フロイトが言ったように、無意識には否定がないんだよね。

映画『インセプション』を思い出すな。「私は君に言う、象のことを考えないで。君は今、何を考えている？」

例に基づくプロンプトは、特定の行動を引き出すのにいい方法だよ。欲しい行動を説明するシステムプロンプトを書いて、アシスタントとユーザーのやり取りを一回か二回作って、それをLLMに渡すんだ。そうすると、その文脈の中で既に欲しいタイプの出力が生成されてるから、実際のプロンプトを与えた時に同じような出力を続けてくれる可能性が高いんだ。