ハクソク

世界を動かす技術を、日本語で。

すべてのAIモデルは同じかもしれない

2025年7月18日原文(blog.jxmo.io)

概要

  • Project CETIはAIを用いて クジラの言語解読 を目指すプロジェクト
  • 「Mussolini or Bread」 というゲームを通じて人間の 意味理解の共通性 を説明
  • AIと言語モデルは 圧縮 と 一般化 を通じて知能を獲得
  • Platonic Representation Hypothesis （PRH）は大規模モデルが 共通表現空間 に収束することを主張
  • embedding inversionやCycleGANなどによる モデル間変換 の実現とその意義

クジラの言語解読と人間の意味空間

  • Project CETIはAIを活用し クジラと人間のコミュニケーション 可能性を探求
  • 「Mussolini or Bread」ゲームは 意味的距離 を使い、質問を重ねて答えを特定する遊び
  • このゲームが成立する理由は、人間に 共通の意味モデル が存在するため
  • 人は一度も話し合ったことのない概念でも、 直感的に意味の近さ を共有
  • これは私たちの脳が 世界を類似のモデルで理解 していることの証明

圧縮と知能：AIと言語モデルの本質

  • 言語モデルは「次の単語予測」を通じて データ圧縮 を実現
  • Shannonの情報理論 により、圧縮と確率分布の関係が理論化
  • モデルが大きくなるほど 世界の確率分布の近似精度 が向上
  • 圧縮性能が高いモデルは、より 多くの知識 を持つことに直結
  • 圧縮＝知能 という見方がAI研究で主流に

一般化とスケーリング：知能の普遍性

  • データセットがモデルの容量を超えると、 個別記憶から一般化 へと移行
  • 一般化が始まるのは、 圧縮が限界に達したとき
  • モデルが異なっても、 最適な圧縮方法は1つ しかなく、共通表現に収束
  • これが Platonic Representation Hypothesis の根幹
  • モデルが大きくなるほど、 同じ特徴を学習 しやすくなる傾向

Platonic Representation Hypothesis（PRH）の証拠と応用

  • MITの研究者による PRH提唱論文 （2024年）が理論的根拠
  • VisionやLanguage分野で、 異なるモデル間の表現の類似性 が観測
  • モデルのスケール拡大で、 共通表現空間への収束 が加速
  • embedding inversionの課題： 埋め込みベクトルから元テキスト推定
  • embeddingは 高次元で圧縮 されているため、完全な復元は困難

embedding inversionとCycleGAN

  • embedding inversionは、 モデル特有の空間 でしか高精度に機能しない制約
  • PRHが正しければ、異種モデル間でも変換が可能 なはず
  • CycleGANの cycle consistency を応用し、教師なしで埋め込み空間をマッピング
  • 実験で異なるモデル間のembedding変換が 教師なしで成功
  • これにより Strong Platonic Representation Hypothesis （強PRH）が支持される

機械的解釈可能性と普遍的特徴

  • Circuits（2020） では、異なるネットワークで 同様の機能 が発見
  • Sparse Autoencoder（SAE） による特徴分解で、モデル間に 共通特徴 が多数存在
  • Unsupervised Concept Discovery などの研究により、 普遍的特徴検出 が進展
  • 機械学習モデルが 本質的な特徴を共有 している証拠が増加
  • 今後は 異種モデル間での知識・特徴の移植 が現実味

まとめ

  • Project CETI やAIの進化は、 人間と動物の言語的共通基盤 の発見に貢献
  • 圧縮・一般化・共通表現空間 という観点から、AIの知能獲得を解釈
  • PRH やembedding inversionの進展は、 モデル間の壁を越えた情報変換 を可能に
  • 機械学習の今後は、 普遍的知識表現 の発見と応用が鍵

Hackerたちの意見

これは、異なる情報源が似たような特徴分布や意味的関係を共有しているときにのみ機能します。MやBゲームは、あなたが知らないようなマイナーな人を知っている相手と遊ぶと崩れちゃいます。相手の言ってることが分からなかったり、あなたの「意味的距離」の感覚が相手と違ったりするからです。解決策は知識レベルを合わせること：専門家は専門家と、一般的な人は一般的な人と遊ぶべきです。古代のテキストを解読する場合も同じで、古代の文明が現代とは全く異なる概念に焦点を当てていたら、私たちの現代の意味モデルは彼らの書き方を理解するのには役立ちません。

└

友達とたまにこのゲームをやるけど、相手が人間の場合は、完走したことがない気がする。

「クジラの言葉や古代の言語を解読できるかも」ってのは、かなり無理があると思う。文脈が言語を有用にする最も重要な部分だからね。人間が書いたテキストは数十億もあって、共有された経験に基づいてるから、AIが言語に強いんだ。クジラにはそれがないよ。

└

ライオンが話せたら、私たちは理解できるかな？

└

ゴリラやゾウ（どちらも非常に知能が高い）に物の名前を教えたり、シンボルを使わせたりできれば、彼らも静かに私たちと同じくらい賢くなれると思うんだ。世代を超えて経験や知恵を伝えることができるようになるからね。ちなみに、Googleのジェンマ・ドルフィンプロジェクトにはワクワクしてるけど、イルカの代わりにゾウを選んでほしいな。私たちは水の中ではなく陸に住んでるから、もっと核心的な研究に重点を置けるし、即時のコミュニケーションフィードバックも可能になると思う。

└

それが重要かどうかは必ずしもそうじゃないよ。重要なのは、言語間で共有された表現空間があるかどうかだね。もしあれば、理論的には、基盤となる構造とその構造から言語への翻訳を分けることができるかもしれない。後者、つまり「普遍的な埋め込みインバーター」と呼ばれるものは、もっと簡単に訓練できる可能性が高いと思う。特定の構造がユニークすぎて、基盤となる表現にマッピングできる可能性もあるし、それを利用することもできる。でも、それが実現できなくても、生の素材で無監督の訓練を行って、同じ基盤の「普遍的」な構造が現れるかどうかを確認することはできるよ。最後の段落には多くの希望と推測が含まれてるけど、この記事の主旨は、もしかしたら、翻訳に文脈は必要ないかもしれないってことなんだ。

└

「人間が書いたテキストは数十億あり、共有された経験に基づいているから、私たちのAIは言語が得意なんだ。クジラにはそれがない。」私たちの周りの世界は、その共有された経験の大部分を占めているんだ。それは人間同士で共有されているし、クジラ同士でも共有されているし、人間とクジラの間でも共有されているんだよ。

ムッソリーニに近い？それともパンに近い？ムッソリーニ。ムッソリーニに近い？それともデビッド・ベッカムに近い？うーん、ムッソリーニかな。 （ああ、彼らは絶対に人間を考えてるね。）その理由は成り立たないよ。人以外の多くのものも同じ答えになるから、例えばムッソリーニに似てる動物とか。

└

あ、やっちゃった。ちょっとした論理的なミスを見逃してくれるといいな。

└

このジョークは、デビッド・ベッカムが人間として（認識されていない）ってことについてだと思う。擬人化された悪と比べてもね。

└

オズワルド・モズリー

└

まさにその通り。俺の言葉なら「銃」か「砲兵」かな。簡単に彼の論理を打ち破れる。でも、これが純粋な埋め込み検索がRAGには不十分な理由も説明してるはずだ。

Hacker Newsで議論の続きを見る