世界を動かす技術を、日本語で。

「LLM」に聞くように言わないでください

概要

  • 電話よりも メールやテキスト を好む筆者の体験談
  • 経験豊富な上司 に難問の答えを求めて電話をした経緯
  • 「Claudeに聞け」 という返答に感じた違和感
  • 機械と人間の 意見や経験の価値 の違い
  • LLMの限界と 人間の答え の重要性

「Claudeに聞け」と言われたときの違和感

  • 筆者は メールやテキスト でのやり取りを好む傾向
  • しかし、今回は 本当に答えがほしい難問 のため、経験豊富な上司に電話を依頼
  • 業界の合意がない問題 への答えを求め、教科書的な回答ではなく、30年の経験から得た知見を期待
  • 返ってきたのは 「Claudeに聞け」 という返答
  • 以前も同様の経験があり、難題に対して周囲から同じような返事を受けた体験

AIへの質問と人間の意見の違い

  • 既に ClaudeなどのLLM に質問し、何度もやり取りした後の疑問であったことを強調
  • 昔は 「LMGTFY」(自分で調べて) のようなリンクを送る文化があったが、今回の状況とは異なる
  • 友人に レストランのおすすめ を聞くときのように、個人的な経験や好みを重視
    • 単なるランキングや専門家の意見ではなく、 信頼できる人の主観 を求める姿勢
  • 人間の答え には「経験」や「個性」がにじむ点が重要

「Claudeに聞け」が意味するものと、その限界

  • 「Claudeに聞け」は 「分からない」や「今は時間がない」 の丁寧な言い換えかもしれないという考察
  • 本音で「忙しい」「新しいアイディアがない」と答えてほしいという希望
  • 「Claudeに聞け」では 相手の経験や考え が伝わらないという課題
  • 他人から相談されることの負担 や、時間・労力のコストも理解
  • ただし、 LLMや検索エンジン で解決できない問題も確実に存在
  • そういった難問には、 経験者の思考や判断 こそが価値であり、「Claudeに聞け」は本質的な解決にならないという主張

Hackerたちの意見

LMGTFYや「Claudeに聞いて」って返事が来ないようにするには、質問する時にもっと情報や作業の証拠を提供するのが大事だよね。例えば、 — Xをやるのに一番いい方法は? — Claudeに聞いて。 って感じの質問と、 — これについて考えてみたんだけど、Xをやる方法はA、B、Cがあって、Aが一番好きだけどCが一番早い。どう思う? っていうのでは、普通のシニアエンジニアはこの場合、Claudeに聞けとは言わないと思う。

— これについて考えてみたんだけど、Xをやる方法はA、B、Cがあって、Aが一番好きだけどCが一番早い。どう思う? — Claudeに聞いて。

質問する時に努力を示すことの重要性は、どれだけ強調しても足りないよね。どういう風に聞いたか分からないと難しいけど、これは「質問するのやめて」って言いたいだけなんじゃないかって疑いたくなる。

最初の状況でLLMに聞けって勧める人は、2番目の状況でもそうするだろうね。そいつはクソエンジニアだよ。「LLMに聞け」なんて、経験の少ない人を教育するのが仕事の一部であるプロの場では全く妥当な答えじゃない。

「ClaudeにXをやらせた。うまくいってるみたい」って言ったり聞いたりした回数、もう数えきれないよ。

LMGTFYはイライラしたなぁ。特定の検索に対するGoogleのトップ回答が100%それだったから。

この人が2つ目の方法で質問したと仮定すると、すでにいろいろ試してる問題を解決しようとしてる人が、何も文脈を提供せずに「Xをどうやってやるの?」って言うのは考えにくいよね。もちろん、すでに従ってないなら良いアドバイスだけど、問題を単純化しすぎてる可能性もある。普通の人なら、何を試したかをちょっと聞くと思うし。それを考えると、全体的にちょっと変な感じだし、彼女が無視されてるように聞こえるね。

同意だね、質問の前に前置きしてもいいよ。「AIでA、B、Cを確認したけど、あなたの意見や考えを聞きたいな?」って。どんな業界でも、どんな役職の人でも、真剣な会話をしているならAIに戻すことはないと思うよ。

実際に報告された通りの会話があったとは考えにくいね。少なくとも、「Ask Claude」の後に何かが言われたはず。

サブタイトルはこうだね:> もうやったよ。 記事の中で何度もClaudeに聞くのはもうやったって言ってる。だから、これは反LLMの記事じゃないみたい。コミュニケーションの問題っぽいね。相手がすでにかなりの努力をして調べたことを知らないか、時間がないって言う代わりに優しく断ろうとしてるかのどっちかだと思う。最初のケースでは、どうやってこのポイントに達したかを説明するのが解決策だよ。自分で助けようとした人を助けたいと思う人は多いからね。2番目のケースは、無限の説明がある社会的な状況だね。時には、周りの雰囲気を読んで、誰かがその話をしたくないかもしれないって気づく必要がある。時には、その瞬間だけ(誰でも一人になりたい日があるからね)だけど、他の時は、相手がこの話をしたくないっていうサインかもしれないし、他の誰かとも話したくないかもしれない。

フォーラムに技術的な質問を投稿する時は、「Copilotを試したけど、役に立たない答えが返ってきた…」みたいなことをよく書くよ。LLMに質問するのが面倒なのは、たくさんの人が「一度オフにして、またオンにしてみて」みたいな答えをフォーラムに投稿してるから。LLMはそれを合意された解決策として拾っちゃうんだよね。

もう一つのケースは、相手が質問者がそのトピックに関する良いLLMの答えと悪い答えを見分けるための経験が不足していることに気づいていない場合だね。でも、ケース1と同じ解決策だよ。「ClaudeがXって言ったけど、それは正しくない気がする」って言うのを恐れないで。

Hacker Newsで議論の続きを見る