トランスフォーマーを過剰に複雑にしてたってことが判明したら、めっちゃ面白いよね。でも、コードリポジトリが欠けてるのが残念…

著者へのヒント：線形代数（あるいは他の数学のほとんど）を話すときは、普通の慣習に従ってね。この場合、-（マイナス記号）は引き算を意味するのが普通だよ。「そしてまた」って意味じゃないから、特に行列を表す二つの変数の間に挟むときはね。論文を読んでて、1章と2章、3章の一部で頭を抱えながら進んで、やっと気づいたんだけど、「Q-K=V」ってのは「QからKを引いたらVになる」って意味じゃないんだよね（頭を抱えてたのは、彼らの説明や対称性のコメントが「QからKを引いたらVになる」って考えると全然意味がわからなかったから）。もし「KがVに等しい」って言いたいなら、「K=V」って書いてほしいな :) Q-K=Vに沿った形で、クエリ、キー、バリューのアテンション行列にもっと一般的な線形制約を課すことに意味があるのか、ちょっと気になる。面白い論文だと思うよ。K=Vがこれほど機能するとは驚きだね。クエリがバリューの予測みたいになって、アテンションヘッドがその予測に最も近い（ソフトマックス化された）バリューを返すようなモデルを強制してるみたい。シーケンスが短くて次元が高いから、面白い結果がマージされたキー/バリュー空間に収まる余地がたくさんあるのかも。

こういうアブレーションスタディはいつも良いね。ただ、ここでの言語モデルの結果がどれくらい一般化できるかは疑問だな。彼らの1.2Bモデルは10Bトークンで訓練されていて、これはチンチラの計算最適数の半分にも満たないんだ。現代の過剰訓練された1B LLMは約10Tトークン（1000倍）で訓練されてるから、これが重要なんだ。自分の経験から言うと、標準アテンションの簡略化や代替手段は、訓練不足の状態では問題なさそうに見えるけど、過剰訓練になると遅れが出ることがある。アテンションは初めからあまり誘導バイアスがないから、表現力が本当に発揮されるまでにはかなりの訓練が必要なんだ。著者たちを責めるつもりはないけど、長い訓練はお金がかかるから、指摘しておく価値はあるね。それに、Q=K-Vのケースについての推論ベンチマーク結果を報告しなかったのが残念だな。個人的には、これが最も理論的に興味深いケースだと思うから。