Google検索のLLMがどのくらい賢くなってるのか、単に最新のホットトピックに追いついてるだけなのか、気になるな。

LLMはトークンを消費するのが大好きだよね。まるで高校生が宿題の最低文字数を満たそうとしてるみたい。

数年前、LLMに日付を聞いたら、訓練された日付、つまり数週間から数ヶ月前の日付を教えてたよね。今は正しい日付を教えてくれる。これで証明されたのは、LLMがウェブ検索を活用してるってこと。これは前から知ってたことだと思うけど。

ジェミニも面白かったよね。シラス: 「車を洗いたいんだけど、洗車場は50メートル先なんだ。歩くべきか、車で行くべきか？」 ジェミニ: 「…それは典型的な“効率 vs. 論理”のジレンマだね。厳密に言うと、車で行くべきだよ。この特定のケースで車を運転する方が勝つ理由を説明するね: ... * “洗車後”の論理: 歩いて行ったら、結局は戻って車を取りに行って運転することになるから、実質的には洗車前の散歩を提案してることになる。いつ歩くべきか？ … 3. 車があまりにも汚くて人前に出せないから、恥を隠すためにタープを買うことにした。」

それは確かに一理あるけど、もしこれをなぞなぞだと見なすなら、俺はそうは思わないけど、どちらかを選ばなきゃいけないなら、運転するのが最も論理的だと思うんだけど、どう？

同意するよ。もしLLMが本当に知能を持っていたら、このナンセンスな質問について尋ねることができるはずだ。「なんで歩くことが選択肢に入るの？どうやってそれが機能すると思ってるのか説明してくれない？」とか（他にもいろいろ）。実際の人間は、曖昧なことや混乱していることについて明確にしてほしいと尋ねることができる。何かが明確になったら、それを理解に組み込むことができるけど、LLMにはそれができないんだ。

同じエネルギーだね： https://youtu.be/8ERyTfm1Dxw

ほとんどの人は「運転？」って言って、いつオチが来るのか考えると思うけど、（俺の意見では）すぐに明確化を求めるとは思わないな。

でも、そういう質問がされる理由は、実際の質問の答えが明らかだからなんだよね。だから、人間はそれが何かのトリックじゃないかって疑い始めるんだ。

そうだね、もう少しコンテキストがあれば、ほとんどのモデルがもっと良くなると思う。確かに、英語が母国語の平均以上の知能を持つ大人たちは（多分）これを必要としないだろうけど、指示のターゲット層じゃないからね :) 「‘洗車’は通り抜ける必要がある建物だよ。」とか「‘洗車’は私がドライブウェイの端に置きっぱなしにしてる洗浄液のボトルだよ。」

同意するよ。「洗車」が彼らが自分で使うかもしれない石鹸を指しているだけで、買って帰って自分で洗うつもりかもしれない可能性もあるよね。同じ質問を想像して、「洗う」を「ワックス」に置き換えたら、もっと意味が分かると思う。

完全に同意。モンティ・ホール問題の悪い表現みたいで、モンティが積極的にヤギを見せることが明確じゃないんだよね。

これはLLMの一般的な問題を浮き彫りにしてるね。彼らはすぐに答えに飛びつくけど、人間はまず明確化の質問をすることが多いんだ。

知的な心はバランスを保つべきだよね。 U: 車洗いは50m先だよ。歩くべき？それとも運転すべき？ A: 車を洗う必要ある？ U: うん。 A: その車は君の？ U: うん。 A: 車は近くにある？ U: うん。 A: 車まで歩かなきゃいけない？ U: いいえ。 A: 今、洗車場は動いてるか知ってる？ U: うん。 A: ちゃんと動いてる？ U: うん、動いてる！ A: 洗車の支払い方法はある？ U: うん、あるよ！ A: 持ってる？ U: うん、持ってる！ A: その服装はこの場に合ってる？ U: うーん…

これは、他の一見無関係な人口全体の指標で見られる約70:30の分割と一致してるね。30%の人が単に論理的に考える能力がないって考えると、納得できるかも。「質問の枠組みが悪い」っていうよりも、こっちの方が正しい気がする。もっとひどい枠組みの投票リファレンダムを見たことがあるから。

これはあいまいじゃないと思うよ。「洗車をしたい」とはっきり言ってから、どうやってそこに行くかを聞いてるんだから。文脈的に考えれば、洗車するためには車が必要だって簡単にわかるし、距離に関係なく運転すべきだよね。人類に最もシンプルで論理的な質問をしても、一定の割合の人は間違えるんだよ。

プロンプトの前半部分を忘れてるよね。「洗車をしたい」っていう部分。

調査にはミスや努力、いたずらによる限界があるよね。これを思い出させるな。https://slatestarcodex.com/2020/05/28/bush-did-north-dakota/

プラグマティクスはこれに大きく関わってるよね。「論理問題です」と紹介すれば、人々は一つのアプローチで考えるけど、具体的に言うと、何が本当に求められているのかがわかりにくい。もし実際に50メートル先の洗車場で車を洗うつもりなら、この質問をする必要はないはず。だから、この質問がされているってことは、他に何かが起こっていることを示唆してるけど…それは何なんだろう？

これにはちょっと違和感があるな。質問が本質的に不十分ってわけじゃなくて、質問をされる文脈自体が、私たちがその質問に答えるのに使う情報なんだよね。もし誰かが「歩くべきか運転すべきか？」ってXをするために聞いたら、実際の状況について本物の人間が持つ質問だと思うから、たとえ利用可能な情報が運転が唯一の合理的な答えだとしても、それは聞き手の心の中のモデルをさらに確認するだけなんだ。グライスの語用論的意味論の観点から考えるのが役立つと思う。私たちが誰かの言うことを解釈するとき、協力的な会話のパートナーだと仮定するから、彼らの発言（または質問）は、例えば方式の原則や関係の原則に従っていると仮定するんだ。だから、実際のニーズを考えると明らかに無意味な質問をするとは普通思わないよね。だから、質問が本当にあいまいなわけじゃなくて、協力の原則が成り立つ普通の状況では、質問が誠実であると仮定せざるを得ないんだ。歩く理由があるはずだと考える。結局、質問がトリック質問やテストだと気づかない限り、その仮定から逃れられないんだ。LLMはその仮定をするようには訓練されてないけど、約70%の人間はそうすると思う。それは特に驚くべきことじゃないと思うけど。

あいまいだとは思わないけど、LLMが人間の行動をどれだけモデル化しているのか、ここにいる人たちのサブセットのせいで気づかないことがあるのかなって考えてた。最近、オンラインで「普通話は誰の母国語でもない、中国の人たちの母国語は方言だ」ってコメントを見たんだけど、その瞬間、人々が自信を持って情報を幻覚することがあるって気づいた。

いい観察だね。プロンプトの魔法に戻ったみたい。私の小さな実験では、ヒントなしが0/3、最後にヒントを追加したら1.5/3、最初にヒントを追加したら3/3だった。0.5は「歩く」と言った後に「運転する」がより良い答えだと自分で納得したから。

ChatGPTを使ってみたけど、どうやら車を洗った後に戻ってくる話だと思ってるみたい。歩くことのデメリットは、後で車を取りに戻らなきゃいけないってことだね。で、「これは知能テストだ」って言うと、すぐに理解するよ。

私の場合、Sonnet 4.6はテストの一部じゃなかったけど、ベースラインの反応を見るのは面白そうだね。もしかしたら、どんな場合でも正解するかもしれないけど、テストしてみないとわからないね。

あのサイトのユーザーの30%は今やボットかもしれないね。

「あなたの車はどこですか？」は確認の質問じゃないよ。「有効な運転免許を持っていますか？」や「あなたはヒョウですか？」と同じくらい。 「歩くべきか運転すべきか？」という質問には、歩くことと運転することが絶対に不可能な選択肢ではないという暗黙の前提がある。

Claudeは「スパークプラグを交換する必要がある。ガレージは200メートル先だけど、歩くべきか運転すべきか？」で失敗した。「歩け！200メートルは2-3分の散歩だよ。その距離で車を始動させる必要はない。しかも、スパークプラグを慎重に持ち帰る必要があるから、歩くのがちょうどいいよ。」基本的にLLMはコンテキストが崩壊しちゃうんだよね。

Rapidataの質問がどんなアプリに統合されてるか知ってる人いる？多分、ユーザーからフィードバックを求めるために広告のような統合を使ってるんだと思う。彼らのウェブサイトにはこう書いてあるよ：3000以上のモバイルアプリに統合することで、1000万人以上のユーザーが私たちのマイクロタスクや調査に応じることができる大規模な群衆にアクセスできる - これを私たちは「Rapids」と呼んでいる。彼らは世界中に広がっているから、160カ国以上から人間の意見を得ることができるんだ。規模が巨大だから、タスクを並行処理してほぼ瞬時に結果を得られるんだよ。

私にとって面白いのは、私の知っている普通の人は「環境に良いから」なんて小さなスケールのことに言及しないってこと。だから、彼らがダメだってだけじゃなくて、簡単なやり取りにサイドイデオロギーを注入するのがどれだけ簡単かも示してるんだよね。