SAT、アメリカの大学入試試験は、昔は間違った答えに対してポイントを引いて、答えがない場合は0ポイントだったと思う。確か、正解には+1ポイント、答えがない場合は0ポイント、間違いには-1/4ポイントだったはず。

これはテキストに書かれている通りだね： > このアイデアは新しいものではない。いくつかの標準化されたテストでは、間違った答えに対する負のマークや、盲目的な推測を抑制するために質問を空白にした場合の部分点を長い間使用している。

LLMが統計的に有意な答えがないと言えないように訓練されていないから、幻覚を起こすのは合理的だ。実際のスケールモデルのパラメータを直感的に説明している人は見たことがないけど、たぶんそれはすべて千次元のナンセンスだからだろう。統計も面白いもので、ほとんどの人はトレンドラインが常にうまく外挿されるわけではないことを見たことがあると思う。OpenAIは、もっとパラメータを追加して訓練を良くすればすべての問題が解決すると思い込んでいるように見える。手を振るように言うと、スプレッドシートで曲線フィットする際に多くの次数を追加するようなものだ。十分なパラメータがあれば、どんなデータセットにも完璧にフィットできる。でも、それはトレーニングデータとは異なる新しい入力に出くわすまでうまくいく。

あなたの中に「正しい vs 間違い」の知識はあるの？もし「ない」なら、それなしでも一般知能に到達できるってことだよね。もし「ある」なら、LLMがその知識を詰め込むことができない理由はないと思う。完璧になるかって？ハハハ、無理だね。でも、「十分良い」状態には達成できる理由は見当たらない。

彼らはこの問題に最後の方で少し触れているね。 > 「無効な例が全くないと、有効な発言と無効な発言を区別するのは二重に難しい。でも、ラベルがあっても、いくつかのエラーは避けられない。なぜかというと、もっとシンプルな例えを考えてみて。画像認識では、何百万もの猫と犬の写真が「猫」や「犬」とラベル付けされていれば、アルゴリズムはそれを信頼性高く分類できるようになる。でも、代わりにペットの誕生日でラベル付けしたらどうなる？誕生日は基本的にランダムだから、このタスクはどんなにアルゴリズムが進んでも常にエラーを生むことになる。> 同じ原則が事前学習にも当てはまる。スペルや括弧は一貫したパターンに従っているから、そこにエラーはスケールと共に消えていく。でも、ペットの誕生日みたいな恣意的な低頻度の事実は、パターンだけでは予測できないから、幻覚を引き起こすことになる。私たちの分析は、次の単語予測からどんな種類の幻覚が生じるべきかを説明している。理想的には、事前学習の後のさらなるステージでそれらを取り除くべきだけど、前のセクションで説明した理由から、完全には成功していない。」

正しいことと間違ったことの知識はある。それが損失というもので、質問には多くの可能な答えがあることが多い。これがRLVRが機能する理由でもある。正しい答えは一つだけで、LLMはこれをかなりうまく学習するけど、まだ完璧ではない（今のところ）。

確かに - レベッカ・パーソンズが言うように、LLMができることは幻覚を起こすことだけだ。ユーザーはその幻覚の中で役に立つものもあれば、そうでないものもある。

これは明確に定義されていない問題だとは思わないな。別々のモデルを設計して、これら二つのタスクで優れた結果を出すことができるから。例えば、「事実に基づく」LLMの場合、出力が検証可能な発言なら正しいべきだ。そうでなければ「幻覚」ってことになる。でも、LLMは全てを知っているわけじゃないから、自分の不確実性をうまく表現して、低い自信で確定的な発言を避けるのがいいアプローチだと思う。

本質的に定義が曖昧だとは思わないな。文脈がフィクションが求められているかどうかを教えてくれるから。AIチャットボットにとって、デフォルトはフィクションであるべきじゃない。事前学習中は、モデルがこれを判断するのに十分な情報を持っていないのは事実だし、自分が知っていることと作り上げていることを区別することもできない。この高次の区別は、後から出てくるもので、もし出てくるとしてもね。最近の「悪のベクトル」を発見した研究は、高次の区別の一例だ。