この直感のセットと、特にジョンソン・リンデンシュトラウスの補題は、AIの安全性におけるメカニズム的解釈性の分野でのSAE（スパースオートエンコーダー）に関する多くの研究の基盤になってるんだ。アイデアの詳細は、Anthropicの2022年の論文にもっと詳しく探求されてるよ。これはSAE研究の基礎的な論文の一つだね。

この問題に対する私の直感はもっとシンプルだよ。概念の大まかな階層があると仮定すると、12,000次元の空間にどれだけの概念が存在できるかを、次元数の組み合わせを使って推測できるんだ。その世界では、各概念は少なくともいくつかの次元で他の概念と直交してる。これがコサイン距離が大きいことを意味するわけじゃないけど、2つの概念を線形に分離できる関数が保証されるってことだ。限界ケースでは12,000!（階乗）の概念が得られるから、分類するのに十分な余裕があるんだ。

著者はすべてのベクトルが直交しているケースにあまりにも集中しすぎて、実際に許容されるエラーの量を過大評価してると思う。課題は、ほぼ直交しているベクトルを維持することじゃなくて、直交から遠いベクトル間の距離の順序を保つことなんだ。もっと小さいエプシロンの値でも問題が出てくることがあるよ。「この研究は、現在の埋め込み次元（1,000〜20,000）が人間の知識や推論を表現するのに十分な容量を提供することを示唆しています。」という主張は、私の意見ではあまりにも楽観的すぎるね。

ちょっと脱線するけど、この記事のほとんどの部分がChatGPTの雰囲気で、すごく気が散るしイライラする。これは、英語を磨くためにAIを使い続けている私が言うことなんだけどね。ただ、あまり劇的に言い換えさせないようにして、文法や非慣用的な部分だけを直すようにお願いしてるんだ。トーンや構成はできるだけそのままにしておきたいから。とはいえ、この数学的観察は本当に魅力的だよ。大規模な言語モデルや他のAIシステムがどのように機能するかについての重要な洞察を示している。高次元データがその構造を保ちながら低次元空間に投影される方法を掘り下げることで、これらのモデルが効率的に動作し、効果的にスケールするための重要なメカニズムが見えてくるんだ。

言語モデルは、ある層のC次元に「概念を詰め込む」わけじゃないし（多分12kという数字はここから来たんだろうけど）、異なる概念を区別するために直交する必要もない。LLMは一般的に、ベクトル空間で異なる概念を遠くに離すように訓練されているわけでもない。密な表現の全体的なポイントは、どの概念がどこにあるかの明確な区別がないことなんだ。人々は、関わるトピックに基づいてどのニューロンが発火するかを解明するためにスパースオートエンコーダを訓練している。Neuronpediaがそれをうまく示してるよ：https://www.neuronpedia.org/.

ベクトルが実際にはもっと低い空間にいると、n次元の可能性を活かせてないんだ。時々、これらのことはコサイン距離（あるいはピアソン相関）でパッチされることがあるけど、理想的には必要ないときにベクトルがその空間を占めるべきなんだ。元の記事がバッチ正規化や似たような操作について触れていないのはちょっと驚きだね。これらは各層で値を自動的にデバイアスしてデコレートするために作られたものだから。

これらの幾何学的特性の含意は驚くべきものだ。k次元空間にどれだけの準直交ベクトルが収まるかを推定する簡単な方法を考えてみよう。Fを直交性からの自由度（90° - 希望する角度）と定義すれば、ベクトルの数を近似できる。もしベクトル間の最小角だけを見ているなら、球面符号を扱っていることになる。この文章は球面符号の分析だけど、球面符号に関する研究には言及していない…大部分が言語モデルによって書かれているように思えるし、基本的な矛盾がたくさんあって、その結論に疑問を抱いてしまう。例えば、KとNの異なる値に対するCの値を示すグラフで、x軸はKなのかNなのか？キャプションではx軸はN、つまりベクトルの数だと言っているけど、後で「非常に大きな空間」でC = 0.2が見つかったと言っていて、グラフではN = 30,000かつK = 2のときにしかC = 0.2が得られない。つまり、2次元に30,000ベクトルがいるってこと！逆に、もしx軸がKなら、この文章は30,000次元で2ベクトルの測定を10^200ベクトルの12,888次元に外挿していることになる。これは明らかに馬鹿げてるよ。人々の仕事に対してポジティブでフレンドリーでいたいけど、HNにおけるLLM駆動のコンテンツが本当に圧倒的になってきてる。

「任意の点に基づく空間埋め込みは、具体的なものにはならないんだよね。特に下流では。言葉は任意で、信号の曖昧さが異常に高いレベルで怠惰になってるのは、任意の信号が送信者や信号のコントローラーにとって大きな利点を提供するから。任意の信号は本質的に霊長類の支配ツールなんだ。これは一方通行で、CSはこれを考慮したことがない。コードに埋め込まれた任意の霊長類の支配というダークマターを引き算する能力がない。埋め込まれた空間ではこれがどこにあるの？LLMは、西洋の属性の概念に基づいて設計されていて、全体的なものや東洋的なものではない。相互依存性はまったくなくて、各予測は文脈を失ってる。修正による再編成の試みは、ほんの少し文脈を与えるだけ。任意の言葉の中の対象/個人の幻想は意味がない。GentnerやNisbett、Hallidayを研究している人は、LLMが言語をどう使ってるかを見れば、どれだけ空虚か分かるよ。このリストがそれを証明してる。LLMは言語を使ったサーカスの出し物みたいなもんだ。「埋め込み空間での「概念」って何を意味するか考えてみよう。言語モデルは完全に直交する関係を扱わない – 実世界の概念は、類似性と違いの度合いが異なる。ランダムに選んだ言葉の例を考えてみて。「アーチェリー」は「精密さ」と「スポーツ」といくつかの意味空間を共有してる。「火」は「熱」と「情熱」と重なってる。「ゼラチン質」は物理的特性や食感に関連してる。「南部らしさ」は文化、地理、方言を含んでる。「バスケットボール」は運動と幾何学の両方に繋がってる。「緑」は色の知覚と環境意識を跨いでる。「利他的」は道徳哲学と行動パターンを結びつけてる。」

「ベクトルは、ニューラルネットワークの非線形性を使うから、直交する必要はないんだ。アテンションのソフトマックスを使うと、1次元に好きなだけベクトルを詰め込んで、はっきりと選び出せるよ。」

「続いている、恐らく終わらない機会/悲劇は、表現学習/埋め込みの過小評価だね。現在の多くの価値あるモデルの魔法は、単に「定規」+「男性」みたいな抽象的な「概念」を組み合わせて「王」を得ることができることなんだ。これは、多くのLLMを構成する損失のあるテキスト圧縮を理解するのに最も簡単な方法かもしれない。彼らは埋め込み空間で動作しているから、抽象的な概念が入力と出力の間で操作できる。CをLLVMみたいなものでコンパイルするのに似てる：中間表現があるんだ。（もちろん、一般的にコンパイラの出力は決定論的だから、正確にはそうではないけど。）これは画像モデルにも存在する。「エッジ」+「四隅」は正方形、など。」