世界を動かす技術を、日本語で。
そうだね、LLMは人間の言葉で答えるインターフェースを持ったロスィな百科事典みたいなもんだよ。便利な点もあるけど、主にその点が強調されるね。実際の百科事典のページをたくさん読まなくても、すぐに答えが得られるから。でも、明らかにデメリットもある。今のところ、LLMは質問が間違っているかどうかや、もっと先に答えるべき質問があるかを判断できないんだ。いつも何かに答えようとする。人間なら、まず質問者を見て、通常はもっと詳しい情報を求めてから答えるよね。これが、LLMの回答が時々バカみたいに感じる主な理由だと思う。明確さを求めることがないからね。
新しいモデルについては、必ずしもそうとは思わないよ。Claude 4やGPT-5が明らかに隙間のある質問に対して明確さを求めるのを見たことがある。GPT-5では、考えの過程で明確化が必要な質問を見つけて、最も可能性の高い答えを選んで、後で「あなたがXを意味していたと仮定して…」っていう答えを出すこともある。明確な曖昧さのそれぞれの枝に対して、2つのセクションで答えを提供することもあったよ。
これが、Kagi Assistantが私が見つけた中で最高のAIツールである理由でもある。失敗状態は検索結果と同じで、何も見つからないか、無関係なものを見つけるか、質問の前提に矛盾する素材を見つけるかのどれかだ。データセットにもっとピン留めできるほど、良くなるように思える。
ロスィな百科事典は、情報が欠けていることが明らかであるべきで、知らないうちに作り上げたり、毎回答えを変えたりするのはダメだよ。圧縮された音声や画像ファイルのようなロスィなメディアを持っていると、元のものとの類似性が常に見えるし、劣化もわかる。ランプのJPEGをクリアに持っていて、それを圧縮したら、クリアな天の川の画像が出てくるなんてことはないし、画像を再オープンしたら、クリアな土の山の画像が出てくるなんてこともない。さらに、百科事典は目標なしに参照して学べるもので、全く知らない情報をじっくり見ることができる。でもLLMは、答えを得るためにクエリを送らなきゃいけないから、そうはいかないんだよね。
アナロジーのポイントを見逃してると思うよ：ロスィな百科事典は明らかに悪いアイデアだ。百科事典は事実を調べるための信頼できる場所であるべきだからね。
ランプのクリアなJPEGを持っていて、それを圧縮したら、クリアな天の川の画像が出てくるなんてことはない。ああ、でもそれよりももっとひどいことがあるんだ。ほとんどのLLMは動作の仕方が決定論的じゃないから、毎回異なる土の山のクリアな画像を得ることができるんだ。[1] 「モデル + プロンプト + シード」があれば、少なくとも毎回同じ出力を得ることが保証されるモデルもあるよ。ちなみに、私はLLMを使っているけど、出力が決定論的でない限り、私が作るものに統合することはできないんだ。
確かに、百科事典もIMOやIOIで金メダルは取れないから、同じものではないよね。例えとしては結構いいけど。
実は、俺は違う意見だな。現代のエンコーディングフォーマットも、ブロックを幻覚することがあるよ。LLMよりは目立たないし、ドラマチックじゃないけど、結構頻繁に起こるから、主要なイベントでは「証拠」とされる動画に基づく誤った陰謀論が出てくることが多いんだ。
すべてのユースケースに合う「すべき」っていうのはないと思うな。例えば、ブルームフィルターも自分が何を知っているか「知っている」わけじゃないし。
ロス圧縮は確かに何かを作り上げる。これを圧縮アーティファクトと呼ぶ。圧縮された音声では、クリック音やボイン音、エコーやプレエコーのようなものがある。圧縮された画像では、エッジ近くの波状効果や滑らかに変化する領域でのバンディングが見られるけど、例えば、ある数字が別の数字のきれいなバージョンに置き換わることもある。これは、君が話しているLLMの失敗モードにぴったり合ってるよ。圧縮アーティファクトは一般的に画像や音声、動画の小さな部分に影響を与えるけど、アナロジーでは「全体」は百科事典で、アーティファクトはその小さな部分に影響を与えている。もちろん、アナロジーは正確ではないけどね。だから、S.W.が「LLMのための疑わしいアナロジーを集めるのが好きだから」と言って投稿を始めるんだ。
その議論は、バナナは柔らかいハンマーだってことなんだ。ハンマーは柔らかくない方がいいって言ってるんだよね。サイモンは「バナナをハンマーとして使うな」って言ってる。
AIと圧縮にはたくさんの類似点があるよ。実際、最高の圧縮アルゴリズムとLLMは、次の単語を予測することで動作するという共通点がある。圧縮アルゴリズムは、予測と実際のデータの違いを効率的にエンコードするためにエントロピーコーディングという追加のステップを取るんだ。予測が良ければ良いほど、圧縮率も良くなる。LLMが「ロスィ」なのは、「違いをエンコードする」ステップがないからだね。そう、LLMを（ロスレスの）圧縮アルゴリズムに変えることもできるし、大規模データセットに対する圧縮率に関しては本当に良いものになると思う。gzipのような圧縮アルゴリズムを言語モデルに変えることもできる！ すごくひどいモデルだけど、出力はランダムなバイトのストリームよりはマシだよ。