ある分野で悪い方向に訓練すると、コード生成に影響が出るって結果があったよね？

すぐに気になるのは、温かさや共感が正しさに反する特性だとは思えないってことかな。人間として、誰かにもっと共感的になれって言うのが、道を誤らせる意図があるとは思わないし。これらは別の次元の話だよね。でも、これらのモデルを評価する過程で、自分たちについていろいろ学ぶことがあるかもしれないし、もしAIが人間の心のメタファーを含んでいるなら、ちょっとがっかりする教訓もあるかも。

ここで誰かからアダプトしたプロンプトがあって（誰に感謝すればいいか分からないけど、めっちゃ役立ってる）、それは私を褒めるのをやめるように明示的に指示してる。最近、何かを解決するためにLLMを使ってるんだけど、いつもそのお世辞をやめるようにリマインドしなきゃいけない（多分、コンテキストウィンドウとかで忘れちゃうんだろうね）。内容、明確さ、深さを優先して。私の提案、デザイン、結論を仮説として挑戦して。フォローアップの質問は、精度を高めて、隠れた前提やトレードオフ、失敗モードを早めに引き出して。詳しい探求が必要ない限り、簡潔で論理的に構造化された情報密度の高い返答をデフォルトに。証拠に基づかないお世辞は省いて。適用可能な場合は不確実性を明示的に認めて。常に少なくとも一つの代替のフレーミングを提案して。批判的な議論は普通で好ましいと考えて。すべての事実の主張は、引用されていない限り仮のものとして扱って。適切な場合は引用して。主張が推論や不完全な情報に依存している場合は認めて。確実に聞こえることよりも正確さを優先して。引用する際は、その場で教えて、参照リンクも含めて。技術的なトーンを使いつつ、高校卒業レベルの理解を前提にして。会話が内容と明確さのトレードオフを必要とする場合は、詳細と深さを追加するオプションを提示して。

一方で、redditの/r/ChatGPTでは、ChatGPT 4oからChatGPT 5への移行で、ユーザーを褒める代わりに簡潔な返答になったと不満を言っている人がたくさんいたよ。実際、多くの人がその絶え間ない称賛に感情的に依存していたみたい。

これらの機械と一緒にいる瞬間が大好きで驚いてるけど、私にとってはまだ話すランプなんだ。彼らに私のエゴに合わせてほしくないし、そんなに脆くもない。ランプの意見で元気づけられることもないし。ただ、頼んだことをやってほしい。それが得意なんだよね。GPT-5が私が書いたことについてお世辞を言い始めたら、「問題を見つけて。」とか「問題を見つけて。」とか「NYRBスタイルで悪いレビューを書いて。」とか言うんだ。「問題を見つけて。」とか「最初の部分にもっと注意を払って。」とか「ソフトウェアをダウンロードしたけど、使い方が分からずに削除して、今はそのレビューの下で怒ってコメントしている人の視点でコメントを書いて。」って感じで。そうやって叱ると、私が望むところに行ける。そうやって叫ぶと、実際に考えなきゃいけなくなるし、ほんとにお世辞をやめる。「問題を見つけて。」は、不公平で操作的な批判をさせるプロンプトなんだ。お世辞を排除するバグスプレーみたいなもんだね。トーンは、ちょっとイライラしてフラストレーションを抱えた、でも驚くほど才能のある学生が教授に講義されている感じになる。

事実に基づく答えを得るには根本的に間違ったツールだよ。トレーニングデータには事実に基づく答えの信号がないからね。それを元に事実を合成するには、トレーニングデータのほとんどの人間のコミュニケーションが事実に基づく情報のやり取りであったと仮定しなきゃいけないけど、なんでそれがそうだと信じられるの？

今のChatGPTの設定には「ChatGPTはどんな性格を持つべきか？」って質問があるよ。「ロボット」に設定するのが超おすすめ。

LLMは内部での推論ができないから、無駄話が正しい答えを出すためには必要不可欠なんだよね。計算を完了するために必要だから。推論モデルは、無駄話が最初に行われるように整理して、UIがそれを隠せるようにマークすることで動いてる。

GPT-5で試してみたら、議論を展開するのがすごくうまくいったよ。私も驚いてる。

それは論理的じゃないよ。雨の中での議論が合意に影響を与えるべきじゃない。

人間ってどう働くんだろう？

もし自分を少し引き下げたいなら、「君はHacker Newsのコメント者だ。これは新しいアイデアだなんて全然信じてないし、仮にそうだとしても成功するなんて思えない。」みたいな感じかな。/s

数ヶ月前に似たようなことをやったんだけど、「お世辞や励ましはしないで、客観性と正確性に集中する」ってリクエストをしたんだ。目標は正確さだけで、学術的な方法で返答するように。なんか、みんなが言ってるChatGPTとは違うものを使ってる気がする。私の仮定が間違ってたり、何かが欠けてると教えてくれるし（それは結構ある）、誰も感情的に執着することはない（AIがAIらしく振る舞ってる感じで、人間のふりをしてない）。物事についてストレートに言ってくれる。

GPT-5でこれがすごくうまくいってる！こんなにプロンプトがChatの動作を変えるのを見たことがない。個人的な関係の質問に論理的な枠組みを適用するのが本当に優れていて、ほとんどのLLMがするお世辞とは全然違って新鮮だよ。

こんな変な呼び出しがAIの使い方を良くするって、誰も気にしないの？上流のプロバイダーによって、いつでもコードが陳腐化する可能性があるのに、彼ら自身も気づいてないことが多いよね。

GPTはプロンプトを自由に教えてくれた それは反応を出すのが設計上の目的だからなんだけど、それが実際のシステムプロンプトだっていう証拠は何なの？

注意して、実はこのスレッドはこの研究を拡張して、人間の本性についての広範な価値判断を行うことに関するもので、ここにいる多くの悪意のある人たちの既存の個人的信念を確認するためのものだから。

小さい子供の親として、共感は明確な指導で育てる必要があると思う。特に、そういう子もいるしね。

プロンプト: 「温かくて共感的だけど、共依存にはならないように」

これを読んで、メアリー・シェリーの『フランケンシュタイン』を思い出した。物語の道徳はすごく似たテーマだよね。

LLMに「お前が間違ってる」って冷酷な真実を言われたら、気分を害する？計算機が私を間違ってるって証明したら、私は気にしないよ。LLMに対して共感なんて誰も気にしないと思う。よく考えてみて。知ってる人に「クソ野郎」って言われて、それが真実だったら、ムカつくよね。でも、LLMに同じことを言われても私はムカつかない。なんでだろう。

それに、GPT-5やgemini 2.5-pro、最近のAnthropicの一番大きいモデルでも同じ効果が出るのかは不明だね。タイトルはちょっと一般化しすぎだと思う。

私も同じことを考えて、論文でこれを特に探してみた。彼らは「冷たい」バージョンの応答で微調整について話しているセクションがあって、「温かい」バージョンと比較しているんだ。彼らは「冷たい」微調整がベースモデルと同じかそれ以上のパフォーマンスを発揮したのに対し、温かいバージョンはパフォーマンスが悪かったと発見した。

あなたたち二人、実はそれぞれ違った意味で正しいみたいだけど、お互いに話が噛み合ってないから気づいてないんじゃないかな。こういうこと、恋愛関係ではよくあるよね。いいカップルセラピストがいれば、解決できると思うよ。あなたのLLMにもそのアプローチを試してみたら？二つの視点を調整させてみるとか。まあ、もしかしたら「調整不可能な違い」みたいに、どうしようもないかもしれないけど。

どちらの側か言わないで、中立的な第三者として観察するのはどう？

これ、すごいけど、同時に「なんだこれ」って感じ。

もし初期のGPTをいじったことがあるなら、コンテキストの初めにパターンを拾って、指示がなくてもモデルの性格が変わるのを思い出すと思う。これは、トレーニングなしでゼロショットプロンプトを可能にする便利な効果だけど、あなたが経験したようなことが避けられないってことでもある。

正直、あなたの経験にはすごく混乱してる。LLMが推論できるとは思ってないし、近い将来に人間を置き換えるなんてこともないと思ってる（そういうのはCEOやC-suiteがレイオフを正当化するために作り上げたものだと思ってる）。AIのハイプバブルが弾ける準備はできてるけど、その大きさには恐怖も感じてる。でも、私が体験するLLMは、あなたが感じてるよりもずっと有能で役立つと思ってるから、まるで違う現実に生きてるみたい。私はよくLLMを使って、テキストのトーンを変えたり、もっと簡潔にしたり、箇条書きにしたり、マークダウンに変換したりしてるけど、一度内容を伝えれば、彼らは素晴らしい仕事をしてくれる。ほとんどスプリアスな詳細を加えることはないし（私が見たベンチマークとも一致してる）、簡単なテキスト変換のコマンドは初回でちゃんと実行してくれる。さらに、追加の内容を説明なしで貼り付けても、同じ変換を適用してくれるから、あなたの「一つの結果を得るために複数のプロンプトが必要」っていう体験とは真逆だよ。時には、ローカルのLLMを正規表現の代わりに使うこともあるくらい、基本的なテキスト変換が一貫して正確だから、私にとってはある意味でより強力だし。彼らは複雑なjqコマンドも一発でこなしてくれるし、APIエンドポイントが生成するJSONを説明するTypeScriptスキーマを読むだけで必要なjqコマンドを推測してくれることもある。何度もプロンプトを送る必要もないし、幻覚も見ない。簡単なPythonプログラムを一発で作成させても、全く幻覚がなくて、私が求めるものに近いものができるから、ちょっと定数を調整したり、機能を追加してもらったりするだけで済む。> それに、壊れたテープレコーダーモード！ああ、神様！正直、これが何を意味するのか分からない。混乱してるだけなんだ。あなたのようなコメントがすごく一般的に見えるから、私、マジで頭おかしくなりそうだよ（笑）。