ハクソク

世界を動かす技術を、日本語で。

すべてのAIモデルは同じかもしれない

297日前原文(blog.jxmo.io)

概要

  • Project CETIはAIを用いて クジラの言語解読 を目指すプロジェクト
  • 「Mussolini or Bread」 というゲームを通じて人間の 意味理解の共通性 を説明
  • AIと言語モデルは 圧縮 と 一般化 を通じて知能を獲得
  • Platonic Representation Hypothesis （PRH）は大規模モデルが 共通表現空間 に収束することを主張
  • embedding inversionやCycleGANなどによる モデル間変換 の実現とその意義

クジラの言語解読と人間の意味空間

  • Project CETIはAIを活用し クジラと人間のコミュニケーション 可能性を探求
  • 「Mussolini or Bread」ゲームは 意味的距離 を使い、質問を重ねて答えを特定する遊び
  • このゲームが成立する理由は、人間に 共通の意味モデル が存在するため
  • 人は一度も話し合ったことのない概念でも、 直感的に意味の近さ を共有
  • これは私たちの脳が 世界を類似のモデルで理解 していることの証明

圧縮と知能：AIと言語モデルの本質

  • 言語モデルは「次の単語予測」を通じて データ圧縮 を実現
  • Shannonの情報理論 により、圧縮と確率分布の関係が理論化
  • モデルが大きくなるほど 世界の確率分布の近似精度 が向上
  • 圧縮性能が高いモデルは、より 多くの知識 を持つことに直結
  • 圧縮＝知能 という見方がAI研究で主流に

一般化とスケーリング：知能の普遍性

  • データセットがモデルの容量を超えると、 個別記憶から一般化 へと移行
  • 一般化が始まるのは、 圧縮が限界に達したとき
  • モデルが異なっても、 最適な圧縮方法は1つ しかなく、共通表現に収束
  • これが Platonic Representation Hypothesis の根幹
  • モデルが大きくなるほど、 同じ特徴を学習 しやすくなる傾向

Platonic Representation Hypothesis（PRH）の証拠と応用

  • MITの研究者による PRH提唱論文 （2024年）が理論的根拠
  • VisionやLanguage分野で、 異なるモデル間の表現の類似性 が観測
  • モデルのスケール拡大で、 共通表現空間への収束 が加速
  • embedding inversionの課題： 埋め込みベクトルから元テキスト推定
  • embeddingは 高次元で圧縮 されているため、完全な復元は困難

embedding inversionとCycleGAN

  • embedding inversionは、 モデル特有の空間 でしか高精度に機能しない制約
  • PRHが正しければ、異種モデル間でも変換が可能 なはず
  • CycleGANの cycle consistency を応用し、教師なしで埋め込み空間をマッピング
  • 実験で異なるモデル間のembedding変換が 教師なしで成功
  • これにより Strong Platonic Representation Hypothesis （強PRH）が支持される

機械的解釈可能性と普遍的特徴

  • Circuits（2020） では、異なるネットワークで 同様の機能 が発見
  • Sparse Autoencoder（SAE） による特徴分解で、モデル間に 共通特徴 が多数存在
  • Unsupervised Concept Discovery などの研究により、 普遍的特徴検出 が進展
  • 機械学習モデルが 本質的な特徴を共有 している証拠が増加
  • 今後は 異種モデル間での知識・特徴の移植 が現実味

まとめ

  • Project CETI やAIの進化は、 人間と動物の言語的共通基盤 の発見に貢献
  • 圧縮・一般化・共通表現空間 という観点から、AIの知能獲得を解釈
  • PRH やembedding inversionの進展は、 モデル間の壁を越えた情報変換 を可能に
  • 機械学習の今後は、 普遍的知識表現 の発見と応用が鍵

Hackerたちの意見

これは、異なる情報源が似たような特徴分布や意味的関係を共有しているときにのみ機能します。MやBゲームは、あなたが知らないようなマイナーな人を知っている相手と遊ぶと崩れちゃいます。相手の言ってることが分からなかったり、あなたの「意味的距離」の感覚が相手と違ったりするからです。解決策は知識レベルを合わせること：専門家は専門家と、一般的な人は一般的な人と遊ぶべきです。古代のテキストを解読する場合も同じで、古代の文明が現代とは全く異なる概念に焦点を当てていたら、私たちの現代の意味モデルは彼らの書き方を理解するのには役立ちません。

└

友達とたまにこのゲームをやるけど、相手が人間の場合は、完走したことがない気がする。

「クジラの言葉や古代の言語を解読できるかも」ってのは、かなり無理があると思う。文脈が言語を有用にする最も重要な部分だからね。人間が書いたテキストは数十億もあって、共有された経験に基づいてるから、AIが言語に強いんだ。クジラにはそれがないよ。

└

ライオンが話せたら、私たちは理解できるかな？

└

ゴリラやゾウ（どちらも非常に知能が高い）に物の名前を教えたり、シンボルを使わせたりできれば、彼らも静かに私たちと同じくらい賢くなれると思うんだ。世代を超えて経験や知恵を伝えることができるようになるからね。ちなみに、Googleのジェンマ・ドルフィンプロジェクトにはワクワクしてるけど、イルカの代わりにゾウを選んでほしいな。私たちは水の中ではなく陸に住んでるから、もっと核心的な研究に重点を置けるし、即時のコミュニケーションフィードバックも可能になると思う。

└

それが重要かどうかは必ずしもそうじゃないよ。重要なのは、言語間で共有された表現空間があるかどうかだね。もしあれば、理論的には、基盤となる構造とその構造から言語への翻訳を分けることができるかもしれない。後者、つまり「普遍的な埋め込みインバーター」と呼ばれるものは、もっと簡単に訓練できる可能性が高いと思う。特定の構造がユニークすぎて、基盤となる表現にマッピングできる可能性もあるし、それを利用することもできる。でも、それが実現できなくても、生の素材で無監督の訓練を行って、同じ基盤の「普遍的」な構造が現れるかどうかを確認することはできるよ。最後の段落には多くの希望と推測が含まれてるけど、この記事の主旨は、もしかしたら、翻訳に文脈は必要ないかもしれないってことなんだ。

└

「人間が書いたテキストは数十億あり、共有された経験に基づいているから、私たちのAIは言語が得意なんだ。クジラにはそれがない。」私たちの周りの世界は、その共有された経験の大部分を占めているんだ。それは人間同士で共有されているし、クジラ同士でも共有されているし、人間とクジラの間でも共有されているんだよ。

ムッソリーニに近い？それともパンに近い？ムッソリーニ。ムッソリーニに近い？それともデビッド・ベッカムに近い？うーん、ムッソリーニかな。 （ああ、彼らは絶対に人間を考えてるね。）その理由は成り立たないよ。人以外の多くのものも同じ答えになるから、例えばムッソリーニに似てる動物とか。

└

あ、やっちゃった。ちょっとした論理的なミスを見逃してくれるといいな。

└

このジョークは、デビッド・ベッカムが人間として（認識されていない）ってことについてだと思う。擬人化された悪と比べてもね。

└

オズワルド・モズリー

└

まさにその通り。俺の言葉なら「銃」か「砲兵」かな。簡単に彼の論理を打ち破れる。でも、これが純粋な埋め込み検索がRAGには不十分な理由も説明してるはずだ。

確かに、LLM（大規模言語モデル）は人類の集団的な作品に基づいて、現実の表現に収束してきてると思う。必要なのは、AIにリアルタイムの感覚入力を与えて、代謝条件やエネルギー使用に基づいた半減期を持つホルモンをシミュレーションして、常に考え続けるループを作ること。そして、人間の脳に似た創造的な神経接続を引き起こす合成サイロシビンを見つけることだね。ストーンドエイプ理論があるなら、ストーンドAI理論も必要だよ。

└

それとも、テーマパークのアトラクションにしちゃう？でも、アンソニー・ホプキンスにソースコードの管理権限を与えたらどうなるんだろうね。何が起こるか分からないけど。

└

AIの話を読むのに本当に疲れたけど、「AIにシロシビンを与えた」って見たら、絶対に飛びついちゃうな。

埋め込みをテキストに戻す例は、「現実の共有統計モデルを反映している」という考えを助けてくれないね。「メイジ（2020年4月18日生まれ）は、2023年ケンタッキー・ダービーで勝ったアメリカのサラブレッド競走馬です」というのは、どんなクジラの歌にマッピングできるの？ケンタッキーやダービー、グレゴリオ暦、アメリカ、馬の品種など、現実の核心に関わるものは何もないよ。これらはすべて文化的な発明で、歴史の偶然によって世界の人間文化で特に重要になったものなんだ。せいぜい、みんなが同じデータの山で訓練してるから、訓練セットに対する統計的収束を見ているだけだと思う。

└

「メイジ（2020年4月18日生まれ）は、2023年ケンタッキー・ダービーで勝ったアメリカのサラブレッド競走馬です」をヘレニズムギリシャ語や現代の先住民族の言語に翻訳することはできないよ。共有された文脈が足りないからね。その言語を話す人たちに翻訳が意味を持つためには用語集を渡す必要があるし、LLMに尋ねて用語集として機能させることも必要だと思う。今の最大のLLMは、QCD+重力から始めて文化的な人間の出来事に至るような概念を説明するのに十分な詳細を含んでいると思う。ある共通の基盤を持って、新しい未知の言語に翻訳することができるんだ。ある意味で、それが現実のモデルなんだと思う。LLMは十分な事前訓練を受けて、人間の言語間の翻訳をデフォルトで理解するから、可能だと思う。

└

それがどう重要なのか、私には理解できないよ。君はすべての現実が文化的だと言ってるけど、それは関係ない気がする。科学的な事実にも同じことが言えるけど、クジラが科学の言葉を持っていないからといって、それが現実でないわけじゃないよ。もし、ニュートンが重力の理論を発見した直後にLLMを発見し、その後アインシュタインが一般相対性理論を発見したとしても、GRはニューラルネットの訓練セットには含まれていないだろう。それでもGRは現実の説明としての価値があるんだ！一般相対性理論をクジラの歌に変換することもできないけど、英語や中国語で説明することはできる。だから、アメリカの人間の脳のニューラルネットワークの中で一般相対性理論の概念を英語で、そして中国の誰かに中国語で伝えることができるのが、共有された統計モデルの現実を作り出すんだよ。一般相対性理論を「赤ちゃんの喃語」に変換することもできないけど、それが一般相対性理論を現実でないものにするわけじゃないよ。

└

同意。彼らは現実の統計モデルに収束してるわけじゃなくて、トレーニングデータの統計モデルに収束してるんだ。LLMやトレーニングデータのサイズのケースでは、すべてのテキストの共通点にも収束してる可能性がある。これが核心的な真実を明らかにするとは思わないけど、特定のテキストの塊が何を表しているかについての洞察を与えてくれるかもしれない（このイディオムを使うと、みんなが俺の言いたいことを理解してくれる）。

└

ケンタッキーダービーが現実の核心かどうかは関係ない。重要なのは、それが現実の一部だってこと。現実を100%の精度でモデル化したいなら、ケンタッキーダービーについて知っておく必要がある。著者は、モデルがプラトン的理想表現に近いものに収束していると主張している。だから、完璧なモデルで完璧に翻訳可能なら、実際には「不可能な偉業を成し遂げる存在にちなんで名付けられた四足の陸生動物が、他の動物より速くなろうとして、その背中に乗った騎手に報酬をもたらす」という概念を伝えることができるはず。プラトン的表現仮説が正しいかどうか、そして私たちのモデルが本当にそこまで良くなるかどうかは別の問題だね。

ChatGPTでムッソリーニやブレッドを演じてみたけど、あんまりうまくいかなかった。ルールを理解するのが難しかったみたいで、正しい概念から遠く離れても、妙に具体的になりすぎてた。

「イリヤが知能と圧縮の関係について有名に理解できない講演をした」というのを読んで、マーカス・ハッターが忘れられてしまったのかなって思った。もしそうなら、もっと多くの人がhttp://prize.hutter1.net/を見てみるべきだね。

Grok、o3-pro、Claudeに圧電効果について質問してみたんだけど、みんな「正解」だった。でもClaudeは、他の二人が見逃したユースケースから生じた二次効果を指摘したんだ。みんな同じ領域を探ってるかもしれないけど、Claudeは一歩重要なところを進んだね。

└

それってGrok 4だったのか3だったのか、ちょっと気になるな。

このゲームがうまくいく理由の一つは、物事の関係が一つだけで、それが私たちが生きている根本的な世界から来ているということだと思う。これが言おうとしているのは、もっとこういうことかもしれない：…物事が関係する方法はたくさんあるけど、その関係は私たちの住んでいる根本的な世界から来ている。つまり、物事が関係する方法は明らかにたくさんあるけど、もしこの引用が完全に反事実でないと仮定するなら、何か別のことを示唆しているはずだ。ここでの「方法」は別の意味で使われているのかもしれないけど、はっきりしないね。

誰かが「すべてがカニになる」っていうAIの同等物を発見したらしい。