概要
- 既存のLLMの重みを一切変更せず、独自のレイヤー複製手法でHuggingFace Open LLM Leaderboardのトップを獲得
- Transformer内部構造の「神経解剖学」的な役割分担を観察
- Base64チャットやGoliath-120Bの異常な構造から着想
- 独自の「脳スキャナ」パイプラインで層の再利用や複製をシステマティックに検証
- 結果として、モデルの推論能力向上や新たな構造的知見を得る
LLM神経解剖学：重みを変えずにAIリーダーボード首位を獲るまで
- 2024年中頃、 HuggingFace Open LLM Leaderboard はオープンウェイトAIの競技場
- 数千のモデルが6つのベンチマークで競争、 dnhkng/RYS-XLarge が1位を獲得
- 新規学習や重み合成・ファインチューニングなし、 既存72Bモデルの中間層7ブロックを複製 して接続
- 重みは一切変更せず、 推論時のレイヤー経路だけを操作
- この手法により、モデルの「思考」部分を強化し性能向上を実現
着想のきっかけ：Base64チャット現象
- 2023年後半、 LLMにBase64エンコードされた質問を投げると正しく回答 する現象を発見
- 例：「What is the capital of France?」をBase64化→モデルが正しく「Paris」と返答
- モデルは入力をデコードし、内部表現で推論後、再エンコードして返す
- 英語、Python、Mandarin、Base64など多様な形式に対応
- 初期層：入力形式を抽象表現に変換
- 後半層：抽象表現を出力形式に再変換
- 中間層：純粋な推論・抽象的な内部言語の役割 と推測
Goliath-120Bの異常構造からのヒント
- 2023年11月、Alpindaleが Goliath-120B （Llama-2 70Bモデル2体を層ごとに交互に合成）を公開
- 層の順序を入れ替え、 後方層の出力を前方層へ入力 するという異常な構成
- 通常、各層は直前の層の出力分布に最適化されている
- 「未来の層」の出力を「過去の層」に入力してもモデルが動作 した点が驚異
- Transformer内部表現の 均質性・柔軟性 の証明
- これらの観察から、Transformerには 「機能的解剖学」 が存在すると仮説
独自「脳スキャナ」パイプラインの構築
- 4090搭載の自宅MLリグで ExLlamaV2による量子化モデル推論
- N層モデルに対し、 (i, j)区間の層を複製して経路に挿入
- 例：(2, 7)なら2～6層を2回通過
- すべての(i, j)ペアで「脳スキャン」を実施、 3,240通り以上の構成を検証
- 学習不要、 推論のみで構造的特徴を解析
評価プロキシタスクの工夫
- 全ベンチマークでの全構成検証は非現実的
- 高速・客観的・構造的特性を測る簡易タスク を設計
- 出力トークン最小化
- 客観的スコアリング（LLM判定不要）
- 認知要求の独立性
- 試行錯誤の末、創造性タスクやLLM判定の一貫性問題を乗り越えた評価法を開発
LLM神経解剖学の発見と今後
- Transformerの 初期層＝翻訳、後半層＝再翻訳、中間層＝抽象推論 という「神経解剖学」的役割分担を強く示唆
- 中間層の複製で推論能力向上 を実証
- 既存モデルの重みを一切変更せず、 構造操作だけで性能を引き出す新たな可能性
- 今後のAI設計やモデル解釈学の新たな道筋
この手法・発見は論文未発表だが、 ブログでの公開がより楽しい という理由で今回紹介。