書き方についての指摘は正しいね。このプロジェクトではClaudeをかなり使ったから、ドラフトも含めて。でも、実験やアイデアは僕のものだよ。先行研究については、層の複製が以前から探求されているのはその通りだね。ここで新しいと思うのは、体系的なスイープツールキットと標準ベンチマーク（lm-eval BBH、GSM8K、MBPP）で、どの3層がどのモデルに重要かを示していることだよ。Devstralの論理推論の結果（0.22→0.76）は僕にとって驚きだった。もし画像モデル用にこれを行うComfyUIのノードがあれば、リンクを教えてほしいな。「認知モード」の発見（同じ重みから異なる能力プロファイルを導く異なる複製パターン）は、拡散モデルにとってさらに面白いかもしれない。

それに、これらはトランスフォーマーの初期と最終部分でも役立つと思うよ。構文解析や括弧のアンパース、プログラミング言語のASTなどは非常に再帰的だからね。今のモデルは、関連する再帰回路の「アンロール」バージョンを痛いほど学んでいるに違いない。固定された深さにアンロールされて、他の回路と層を競わなきゃいけないから、予算は60とかだしね。信じられないほど重複していて、定義上、任意の深さに一般化できないんだよ！

面白いことに、素数の深さの回路だけあればいいんだけど、幅は何か原則に基づいて調整した方がいいかもね。たぶんオイラーのトーシェント関数とか。

もう一つのアイデアかもしれないけど、これが実際にあるかはわからない。層のブロックサイズ（例えば…6）を選んで、トレーニング中にランダムにその位置を入れ替えるってのはどうかな。そうすれば、ブロック間の共通APIを強制したり、ブロックの専門化を促したりできるかもしれない。そして、トレーニング後に各ブロックが何をしているのかを分析する（ベンチマークを実行している間にそれを削除することで）ってのも面白いかも。

基本的に、みんな残差接続を使ってるから、正直驚くことじゃないよね。

実証的な発見は全く違う話を語っているよ：すべてのLLMレイヤーはおおよそ互換性のある内部表現を使っている。そして特に中間レイヤーはほぼ互換性があるかもしれない。彼らが「同じ表現の反復的な洗練」をしているように見えるのが多いんだ。様々なプローブや消去実験で証明されているけど、一番明白なのは古典的なロジットレンズだろう。これは、結びついた埋め込みとスキップの影響を受けている可能性が高いし、トレーニングの圧力も関係しているかもしれない。FFスタックの一番上と一番下は、同じトークン埋め込みを反映していて、これがモデル全体に伝播して、共有されたアイデンティティ空間を作り出している。スキップ接続がそれをレイヤーを通じて伝播させる。明示的な共有アイデンティティは課せられていないけど、アーキテクチャによって暗黙のものが設定されている。かなり確立されたことだよ。（今は：非常に推測的！過去のトークンに対する注意が暗黙の「ロバスト性/収束」圧力を生む？モデルは、特定のレイヤーで正しい表現にアクセスできるかどうかを「確信」できない。なぜなら、表現は過去のレイヤーだけでなく、注意を通じて渡された前のトークンの非常に不確実な内容にも依存するから。これがさらに変動を増やす。だから、トレーニングは「各レイヤーが自分がアクセスできるものに確信を持てないので、現在アクセスできるものを収束的に洗練するように発展する。なぜなら、それが注意による不確実性の圧力の下で役立つから」になるんだ。）LLMは非脆弱で、摂動に対して強いことで知られている。モデル手術の後にSFT/蒸留で焼き入れを行うと、さらに強くなるけど、ここではそれは行われていない。たくさんの奇妙なフランケンLLM実験が実証的にそれを証明しているから、誰かが中間レイヤーを複製することでいくつかの狭いタスクのベンチマークパフォーマンスを改善したのを見つけても驚かないよ。「収束的な反復洗練を行っているいくつかのレイヤーを複製することで、収束的な反復洗練が不足していたいくつかのタスクに利益をもたらす」というのは、私にとってはかなり妥当な仮説だよ。複製が「どこかで何かを壊す」可能性は高いし、未焼き入れのフランケンLLMの能力プロファイルには、元のモデルと比較していくつかのギャップがあるだろうと思う。でも「フランケンLLMのレイヤー複製が実際にいくつかのことを改善できる」というのは、私たちが知っていることから見ても、先に否定するにはあまりにも妥当すぎる。

私が知る限りでは、これらのモデルのトレーニングプロセスには、層nの入力として(n-1)以外の層の出力を意味のあるものにするような要素はないと思う。 "パススルー"のアイデンティティ接続がまさにその効果を持つんじゃない？これはトランスフォーマーモデルでは結構一般的だよね。

私が知る限りでは、これらのモデルのトレーニングプロセスには、層nの入力として(n-1)以外の層の出力を意味のあるものにするような要素はないと思う。 そうだよね、私も同じことを考えてた。出力が同じ「フォーマット」だったとしても、LLMは出力がどの順番で行くかを知る手段があるのかな？ノードの順序はネットワークの表現の一部であって、根本的なものじゃない。PNGファイルのバイトをシャッフルして、プログラムがまだそれをPNGファイルとして理解することを期待するようなものだよね。考えれば考えるほど、全然理解できなくなってきた。

トレーニング中にモデルに何かが起こった（RLHF？）せいで、その推論性能が強制的に低下した。最近、こういう推測をする人が増えてきてるけど、なんでだろう？推論のような重要な指標でRLHFが性能を低下させる証拠は何かあるの？モデル開発者がそれを許容する理由は？「おっと、RLHFが推論能力を強制的に低下させるけど、仕方ないね」と言っているAI研究者の例を誰か挙げてくれない？それはまるで「水で動く車があるけど、石油の利益を壊すから売らない」みたいな陰謀論に思える。

一部のトランスフォーマーにはブロック再帰構造があるよ。最近、似たような観察をした論文がこちらにあるよ： https://www.alphaxiv.org/abs/2512.19941

自動研究に接続するの？

すごく興味深い内容だね。

それは明らかに予想外の部分じゃないよ。投稿の残りを読んでみて。

もし「ルーティング」をするモデルを追加するなら、基本的に学習した逆接続を入れることになるから、最終的にはRNNになるよ。