概要
- Ternary LLMの重み分布の偏りを解析
- 従来の五進パッキングより高効率なBITCOS方式を提案
- BITCOSは多くのモデルでビット効率を向上
- AVX-512, AVX2, Intel Xe2 GPU向け最適化展開
- 実プラットフォームで最大1.27倍の推論スループット向上
Ternary LLMの重み圧縮とBITCOS方式の提案
-
Ternary Large Language Models（LLM）は各重みを {-1, 0, +1} の三値で表現
-
理論上、1重みあたり 約1.585ビット （log₂3）で記録可能
-
実運用では 五進パッキング （1バイトに5重み）を採用し、 1.625ビット/重み となる
-
このパッキングは各値が等確率で出現する前提に基づく
- しかし、実際には 0（ゼロ） の出現比率が高く、最大 51.5% に達するモデルも存在
-
この偏りに着目し、BITCOS（Bitmap-Compacted Sign）方式を提案
- 各重みの有無を示す プレゼンスビットマップ と、非ゼロ重みの 符号ベクトル で構成
- ゼロ密度zの場合、1重みあたり 2-zビット で圧縮可能
-
29種類のTernary LLMモデルで評価し、26モデルで従来方式より高効率
-
最もスパースなモデルでは 1.485ビット/重み まで削減
BITCOS方式の展開効率と実装最適化
-
BITCOSは現代のCPUやGPUで 効率的なアンパック が可能
-
AVX-512, AVX2, Intel Xe2 GPU向けに 最適化展開シーケンス を設計
- 実際のTernary LLMのゼロ密度下で、従来のマトリクス・ベクトル積カーネル比 最大1.28倍 の実効性能向上
-
5種類のプラットフォーム（クライアント/サーバーCPU、統合/独立Xe2 GPU）で エンドツーエンド推論 を実施
- CPUで最大 1.18倍、GPUで最大 1.27倍 のデコードスループット改善
今後の展望と意義
- Ternary LLMの実運用における ストレージ効率と推論速度 の両立
- モデル圧縮技術の進化による 省メモリ・高速化 の実現
- BITCOS方式のさらなる最適化や他のスパース表現への応用可能性