ほとんどのモデルは16ビットの重みで訓練されているんだ。だから、10億パラメータのモデルは2ギガバイトを占める。実際には、モデルは推論のために小さい重みに量子化できる。通常、16ビットから8ビットに変えるときの性能損失は非常に小さいから、10億パラメータのモデルは1ギガバイトになる。8ビットの量子化された重みでモデルを考えると、計算がすごく簡単になるのがいいね。20Bモデルは20Gのメモリが必要。シンプルだよね。もちろん、モデルはさらに量子化できるけど、その分推論の質が落ちる。やることによっては、5ビットの重みやそれ以下でも全然問題ないかも。低ビットの重みで訓練されたモデルが、量子化された大きなモデルよりも良い性能を発揮することもあるみたい。たとえば、4ビットの重みで訓練されたモデルは、16ビットで訓練された後に4ビットに量子化されたモデルよりも良いかもしれない。モデルを動かすとき、パフォーマンスのボトルネックはメモリ帯域幅なんだ。だから、LLMファンはできるだけVRAMが多いGPUを探してる。君のコンピュータには128GのRAMがあるかもしれないけど、GPUがそのメモリにアクセスするのは帯域幅に制約されてるから、CPUでモデルを動かした方がいいかも。CPUでモデルを動かすことはできるけど、計算がすごく並列だから、めちゃくちゃ遅くなる。今の高性能な消費者向けGPUは、最大24Gの専用VRAMを持ってる（Nvidia RTX 5090は32GのVRAMがあって、価格は約2万ドル）。GPUの専用VRAMは、約1Tb/sのメモリ帯域幅を持ってる。AppleのMシリーズのARMベースのCPUは512 Gb/sの帯域幅があって、消費者向けハードウェアで大きなLLMを動かすのに人気のある方法の一つ。AMDの新しい「Strix Halo」CPU+GPUチップは、最大128Gの統一メモリを持っていて、約256 Gb/sのメモリ帯域幅がある。Redditのr/LocalLLaMAは、消費者向けハードウェアで何をしているかを見るのにいい場所だよ。もちろん、彼らがやってることの中にはクレイジーなものもあるから、見たものをそのまま参考にしない方がいいよ。10年後のことは誰にもわからないけどね。今、TSMC、Samsung、Intelのトップシリコンファブは、ハイパースケーラーからのGPU需要に応えるために全力で働いてる（Microsoft Azure、AWS、Googleなど）。シリコンチップの製造は、伝統的にブームとバストのサイクルを追ってきた。でも、地政学的緊張、グローバルトレードの障壁、AI駆動の進歩、そして他のブラックスワンイベントがあるから、今後数年がどうなるかは誰にもわからない。