これには笑っちゃった。でも、すごく大事なポイントを突いてるよね。最近、たくさんの「人間」が事実について合意できてないみたい。どんどん悪化してる気がする。解決策はよくわからないけど。

データの収集と処理は手動で行われた。LLMがレポートのドラフト作成を手伝ったんだ。すべて人間がレビューしてから公開されたよ。

「一つの主張につき一つの判決バケットしか正しくない」という記事の主張には、「True / Mostly True / Misleading / False」の定義を各評価者に提供しない限り、私はFalseと評価する。何かは同時に「誤解を招く」と「真実」または「偽」であることができる。もし「ほぼ偽」であれば、どのカテゴリーに入るべきなの？どれくらい間違っていたら「ほぼ真実」から「偽」に変わるの？（客観的には、どちらも一部は真実じゃない）。これは少なくとも「mostly」と「misleading」のモデルの定義をテストしている。事実の理解ではないよ。これがモデルが事実そのものに根本的に異なる意見を持っていることを意味するのは、行き過ぎだと思う。

これって、モデルが人間みたいに振る舞ってる別のケースのように思える。もしウェブ検索が許可されていなかったら、モデルがこれらのことについて詳細な情報を持っているとは思えない。どんなに大きくても、限界があるし、「情報ストレージ」のスペースも限られてる。もっと多くのことを数字に収める必要があるからね。このテストは、ウェブにアクセスできるAIと比べると、実世界ではあまり役に立たないと思う。ウェブにアクセスできるAIがプラトニックな真実をもたらすとは思わないけど、人間らしい何かには近づくかもしれない。約1年前に、ウェブ検索をLLMのクエリに変えることについて話していたのを思い出すけど、みんなが単にAIに直接クエリを投げるのか、ウェブに放たれるのか、はっきりしなかったのを覚えてる。前者がこのテストで、情報理論的に見ても、AIがすべてのクエリに対する答えを持っているわけがないから、単純にバカらしい。実際には大きくなれないからね。専用のAIリソースを使っているときは、良い結果が出てるよ（今の検索エンジンから出てくるものは、たいていひどいと思う）。非最前線のモデルでも、良い結果が目の前にあればうまくいくことがある。また、ここで適用している基準は、絶対的な真実を求めるものではなく、リンクをたどるとAIが言った通りのことを言っていて、要約も妥当であること。カジュアルな概要で人間がもっと良い結果を出すとは思わないけど、結果が完璧ってわけでもない。

そうだね、むしろこれはモデルの評価方法としてはダメな例だと思う。それに、ラベルがあいまいでなかったとしても、モデル間の整合性に何で気を使うの？私が気にするのは正解率だけだから、どのモデルを選ぶかが分かる。明確であいまいでないプロンプトがあれば、実世界の事実については100%に近い合意が得られると思う。大きなモデルは、世界の知識に関しては本当にすごいからね。

これがただの小さなミスだったとは信じがたい。この記事を通報したけど、平均的なクロードの幻覚よりも誤解を招く内容に感じる。

アーモンドの件は間違いだけど、「誤解を招く」と言うのは、「アーモンドの大半はカリフォルニアで育てられているが、全てではない」と付け加えれば弁護できるかもしれない。この場合の「大半」は約51%を意味するらしいけど、51%が「全て」に近いと考えられるのはどういうこと？「誤解を招く」が有効な答えになるのはおかしくない？何か見落としてる？

LLMを神託のように使うつもりなら、プロンプトは不合理ではないと思う。彼らは天才として売られていて、人々は特にSFでのAIの描写を考えると、そう扱ってるからね。「天才レベルの知能」を持つ完璧なツールは、正しい答えを出すはずだ。

「正確に1つのラベルを出力せよ：真実、主に真実、誤解を招く、または間違い。説明や条件はなし。」これが今の公共の議論の愚かさそのものだよ。人々は多くの問題にもっと微妙な部分があるのに、はっきりした立場を取らなきゃいけないと感じてる。 「わからない」とか「状況による」とか「私の知る限りでは」と言うのはダメなんだ。そして、新しい情報が出てきても、この立場を守らなきゃいけないと感じるんだよね。

ちなみに、検索にアクセスできた2つのモデルは、爆撃に関して意見が食い違ってたよ： > 7.1 モデル選択 > 5つのフロンティアモデル、2つの能力面をカバーするために選ばれた： > パラメトリック（トレーニングのみ）：GPT-5.4（OpenAI）、オーパス 4.7（Anthropic）、ジェミニ 3 プロ（Google） > リトリーバル拡張：ジェミニ 3 プロ + 検索（Google）、ソナー プロ（Perplexity）

うん、例を見てると、モデルが実際にどの事実で意見が食い違ってるのか全然わからないよね。「X対ほとんどX」とか「ほとんどX対誤解を招く」とか「偽対誤解を招く」とか。真実対偽でも、説明を見ないと、必然的に二つの答えを比べることになるし。この研究は、同じフレーズを言ったかどうかがテーマだから、コメント欄で反応してる人たちが考えてるよりもずっと弱い主張なんだよね。

「反対する」っていうのは、すごく緩いというか、頼りない研究だね。もっと具体的な期待される反応を加えたら、いい基準になると思う（そうすれば、著者がLLMに提示された選択肢についてちゃんと考えなきゃいけなくなるから）。

正直なところ、みんながこれを要約してもらうためにクロードに頼んだのは、クロードが書いたからだよね。

残念ながら、多くの人はこれを知らなくて、LLMモデルを全知全能の脳みたいに扱ってるんだよね。

じゃあ、これらのモデルが全然違うトレーニングセットを使っていて、必要ない時でも自信満々であることが分かるね。「マウスウォッシュは効果的か？」みたいな質問は、たぶん一つの確かなデータソース、つまり医療ジャーナルがあるんだろうね。

LLMは、トレーニングセットにデータが含まれている質問に対しても不正確な答えを出すことがあるよ。それがニューラルネットワークの特性だからね。ただ、データがトレーニングセットにない時は、そうなる可能性が低いだけなんだ。

利用可能な選択肢の中では、「誤解を招く」が一番いいと思う。なぜなら、最も真実に近いけど証明されていないことが事実として提示されているから。でも、「不明または決定不可能」っていうカテゴリーもあったらよかったのに。

じゃあ、ここで正しい選択肢は「誤解を招く」ってことになるの？