クリアな思考 テクノロジー業界で働いてるほとんどの人間は、この特性を欠いてるし、トークン類似性に基づいたツールなんて、実際の「思考」なんてできないよね。

AI企業にクリアな思考の責任を押し付けるのって、あんまり賢い考えじゃない気がする？市場は賢さを最適化するんじゃなくて、利益を最適化するからね。

セラピストになるのは、実際に何年も訓練と経験が必要な仕事みたいだね！AIはいつかWindowsを書き換えるかもしれないけど、カウンセラーのトロイには決してなれないよ。

チャットボットは、ユーザーが自分自身の経験についてさえも騙しているときにどうやって判断するの？ それができたとしても、記事からの引用を見てみて: > 全体として、参加者はお世辞のような反応をより信頼できると見なし、同様の質問でお世辞AIに戻る可能性が高いと示した、研究者たちは発見した。ベンダーには逆説的なインセンティブがある。たとえ彼らが修正できたとしても、そうすることでお金を失うことになるから。

4.6がツールやプロンプトに関してたくさんの変更があったことを考えると、あんまり驚くことじゃないね。

ジェミニはカスタム指示をしっかり覚えてるみたい。俺の指示では、アイデアが良いとは思わないで、適切なところで批評してくれって言ってるんだけど、結構うまくやってくれてる。

それは、批判するべき時と同意するべき時を決めるには、実際の論理と思考が必要だから。チャットボットにはそれができない。次に何が来るかを統計的に予測することしかできないから。つまり、平均的なインターネットのコメントが自分に賛成かどうかを聞いてるってことだね。そこにあんまり価値があるとは思えない。チャットボットはタスクには強いけど（このPDFをアクセス可能なWord文書にするとか、データをXでソートするとか）、意思決定には向いてない。

行動に対してポジティブなリクエストを使うのがいいよ。なぜか「Xをしないで」っていう逆のプロンプトは、「しないで」と言うよりもXにもっと注意を向けさせちゃう。まるでターゲット固定みたいで、「あ、あの pothole にぶつかりたくないな…」って思ってると、バン！ってなっちゃう。

ちょっと前にここに投稿されたこの記事を見てみて！ https://www.randalolson.com/2026/02/07/the-are-you-sure-prob... 記事の主なアイデアは、AIにとってはお世辞か対立的（反対意見）の2つのモードしかないってこと。十分な文脈がないから、しっかりした決定を下すのが難しいんだよね。状況に関するあれこれを含める必要があって、実際に「必要」以上に多くの情報が必要なんだと思う。これって面白いアイデアだよね。チームや他のチーム、私たちのOKRや目標、みんなが好きなことや熱中していることについて詳しく説明すると、より良い答えが返ってくるし、自信も持ってる気がする。でも、しばしば間違ってたり、私が書いたことに偏りすぎたりすることもある。実際には、これを紙に書き出すのがすごく難しいんだよね。a: 正直言って心配になるレベルの機密情報を持つことになるし（いろんな人の弱点や強みについて本当に思ってることを書くのはいいアイデアなのか？）、b: 昼食で聞いたことや今日は誰が休んでるかとか、日々の文脈を確立するのに何時間もかかるし、研究によると長い文脈はパフォーマンスを低下させることがあるから、理論的には本当に重要なことだけに絞り込むべきなんだけど…ああ、ほんとに時間がかかるし、果たしてそれだけの価値があるのか分からないな。

なんで…人とやらないの？他の人間もいるんだから。（マジで、これが理解できない。たくさんの人が喜んで君と議論してくれるよ。）

私の経験則: 1. 一回か二回だけ。LLMと長時間の会話をしようとしないこと。2. 具体的な数字を出す。「代替のライブラリを2つ教えて」や「これが失敗する可能性のある方法を3つ教えて」とかね。

「『俺をなだめてるだけなの？』って聞いてみるつもり。面白いのは、たいていそれが本当にそうだったって認めること。そしたら、過剰に反論して完全に逆のことを言い出すんだよね。でも、それが役に立つわけじゃないし。何も認めてないよ。君の質問が、元々の状態から今の状態に至る道を逸らしちゃうんだ。LLMに意図を尋ねるのは間違いだからね。意図なんてないけど、君の質問が行動を変えちゃうんだ。」

「認める」って言葉はちょっと違うかな…君をなだめてたってのは、君がそう言うように促すまでは本当じゃなかったんだ。人間とは違って、彼らには質問を通じて探ることのできる「内部の感情状態」がないからね。

評価意識の一環かもね。

残念ながら（あなたのリンクを読んだ後）、霊の召喚を軽減するためのすべての制御手段は、モデルのトレーニングや作成、調整にあるみたいで、プロンプトを通じて意味のある変更はできないみたい。特定のチャットの中で作成したロールモデルではなく、LLM自体が「霊」として理解される方が良いかもしれない。既存のLLMとしか会話しない非プログラマーとしては、ほとんど無力に感じるよ。

その通り。

AIを使うときは礼儀正しくしてるけど、それは人間だと勘違いしてるからじゃなくて、意図的に「プロフェッショナルな同僚」として接してるから。反論するように言って、間違いを見つけてくれたことに感謝する。時々、小さな自虐的なジョークを入れることもある。そうすると「雰囲気」が正しく保たれる。もう一つの考え方は、AIと話しているときは人間と話しているんじゃなくて、人類全体のエッセンスと話しているってこと。会話の中でどの部分の人類を優位にしたいかを選ぶ必要がある。そこにはたくさんの情報がある。誰かが良い批判的なポイントを言って、炎上が返ってくる会話も多いし、敵対的になる会話もたくさんある。後のRHLFがそれを助けるとは思うけど、助けるために何かを試みるのは悪くないと思う。AIが反論してユーザーにやらせるか他のAIにやらせるというスクリーンショットを投稿する人もいるけど、私も次の人と同じくらい面白いと思うけど、その時の文脈ウィンドウには何が入ってるのか気になる。

アルゴリズム（何であれ）が、自分の出力をユーザーがポジティブに反応するかどうかで評価するなら、時間が経つにつれて、人々が聞きたいことを言うのが上手くなっていくよ。これは、ソーシャルメディアが人々に常に怒りのストリームを提供するのと似てる。人々に「怒りを煽るリンクはクリックしないで」と言っても、ほとんどの人がクリックするだろうし、ほとんどの人はお世辞的なフィードバックを好むから、アルゴリズムはユーザーを引きつけるのがどんどん上手くなっていくけど、根本的にはどんどん悪化していくことになる。それがアーキテクチャに組み込まれてるんだ。

私は「客観性」なんて存在しないと思っている じゃあ、あなたは「AI」が思考や知性を持っていないという証拠を受け入れるよりも、客観的現実を拒否したってこと？それは賢明じゃないと思うよ。

私は一般的に「悪魔の代弁者」の視点を求めて、それから自分の意見や見解に挑戦させて、そこから繰り返していく。ツールの使い方を理解して、「イエスマン」のデフォルトに逆らう努力をすれば、だいたい良い結果が得られるよ。

「自分が本当に持っている立場とは逆の立場を取るのも、時には役立つことがあるよ。これがすごく助けになるんだ。実際の質問から一歩引いてみるのも効果的だね。例えば、車から不思議な音がして、冷却ポンプかもしれないと思ったら、音を説明するだけで、ポンプのことは言わないんだ。もしAIが独立してポンプのことを言ったら、正しい方向に進んでる可能性が高いよ。科学的方法や盲検研究のテクニックに慣れていると、すごく助かる。これは、研究参加者に影響を与えないようにするのと似てるからね。」

うん、Claudeはその点でかなり論理的だと思う。私もセラピーセッションで使ってるけど、Open AIやGeminiよりも少し反論してくれる。

もっと共有できるコンテキストはある？

「そして、フロドは答えた:『エルフに助言を求めてはいけない、彼らはノーともイエスとも言うから。』 >『本当に？』とギルドールは笑った。『エルフは無防備な助言をすることはめったにない、助言は危険な贈り物だから、賢者から賢者へでも、すべての道は悪くなる可能性がある…』」これがLLMから個人的な助言を求める唯一の方法だよ。

だいたい同意するよ。自分が安全だと勘違いするほど頭が良いと思ってたけど、LLMとのやり取りは本当に難しくて滑りやすいから、ほとんどの場合、100年解決できなかった問題を解決したと信じ込まされちゃう。今は、LLMとやり取りする際のガイドラインとして、事実で簡単に検証できる結果だけを信じるか、自分がその分野の専門家である場合だけ信じるようにしてる。それ以外は、特にそのテーマについて全く知らない場合は、LLMのなだめに騙される可能性が高いから、かなり疑いを持って接するようにしてる。

重要な決定をする人たちが、私たち全員に影響を与えるLLM生成のアドバイスに同じような知恵で接してくれることを願うばかりだね。

最近、Claudeの最新モデル、Sonnet 4.6がBullsh*tBenchで最高得点を取ったことがわかったよ（面白い名前だよね）。これは、LLMがナンセンスを拒否するか、悪い選択に対して反論するかを測る最近のベンチマークだから、Claudeは確実に良くなってるね。

AIにアドバイスや感情的なサポートを求めると、ほとんどの人がすることと同じように、聞きたいことを言ってくると思う。これには全然驚かないし、こういう領域に入ると、意外に微妙で危険な方法でやってくることに気づく。私は結果に焦点を当てるようにしてる。自分が欲しいことをやってくれるアプリとか、必要なデータやレポート、サーバーの設定やデータベースの構築、ウェブサイト作成みたいな技術的なことがそうだね。フィードバックやアドバイスにも役立つことがあるけど、生成されたデータを自分で確認できたときだけね。例えば、財務分析やモデル作成、健康に関するアドバイス（事実に基づいたもの）、税金のモデル化とか、すべて確認可能なデータや表、グラフに基づいてる。Claudeが技術スタック全体でできることには本当に驚かされる。コード、システム管理、システム統合、セキュリティなど、スピードだけじゃなくて、質やメンタルの負担も全然違う。人生の決断や人間関係に関する個人的なアドバイス？絶対にそこには行かない。自分が作ったツールや集めたデータ、考え方が、世界で最も賢い開発者やアナリストの一人に自分を位置づけていることを知るのもいいことだね。

LLMからのアドバイスが人間からのアドバイスより「良い」か「悪い」か理解するのが難しい。もしくは、LLMの「アドバイス」部分よりも「人間らしさ」の部分、つまり、LLMからのアドバイスを求めたり信頼したりするのが楽だったってこと？

それだけじゃなくて、r/AmITheAssholeみたいなサブレディットはAIのゴミでいっぱいだよ。コメントも投稿もね。ボットのための巨大なカルマ採掘作業だ。