1バイト/パラメータだと1.6GB（f8）、2バイト（f16）だと2.3GBになるけど、GPUのパラメータを読み込む以外にもスペースコストがあるんだ。だから、目安としてはパラメータ数の約4倍って感じ。だから、2Bなら2*4で8GBのVRAMが必要だね。

ほとんどのモデルは16ビットの重みで訓練されているんだ。だから、10億パラメータのモデルは2ギガバイトを占める。実際には、モデルは推論のために小さい重みに量子化できる。通常、16ビットから8ビットに変えるときの性能損失は非常に小さいから、10億パラメータのモデルは1ギガバイトになる。8ビットの量子化された重みでモデルを考えると、計算がすごく簡単になるのがいいね。20Bモデルは20Gのメモリが必要。シンプルだよね。もちろん、モデルはさらに量子化できるけど、その分推論の質が落ちる。やることによっては、5ビットの重みやそれ以下でも全然問題ないかも。低ビットの重みで訓練されたモデルが、量子化された大きなモデルよりも良い性能を発揮することもあるみたい。たとえば、4ビットの重みで訓練されたモデルは、16ビットで訓練された後に4ビットに量子化されたモデルよりも良いかもしれない。モデルを動かすとき、パフォーマンスのボトルネックはメモリ帯域幅なんだ。だから、LLMファンはできるだけVRAMが多いGPUを探してる。君のコンピュータには128GのRAMがあるかもしれないけど、GPUがそのメモリにアクセスするのは帯域幅に制約されてるから、CPUでモデルを動かした方がいいかも。CPUでモデルを動かすことはできるけど、計算がすごく並列だから、めちゃくちゃ遅くなる。今の高性能な消費者向けGPUは、最大24Gの専用VRAMを持ってる（Nvidia RTX 5090は32GのVRAMがあって、価格は約2万ドル）。GPUの専用VRAMは、約1Tb/sのメモリ帯域幅を持ってる。AppleのMシリーズのARMベースのCPUは512 Gb/sの帯域幅があって、消費者向けハードウェアで大きなLLMを動かすのに人気のある方法の一つ。AMDの新しい「Strix Halo」CPU+GPUチップは、最大128Gの統一メモリを持っていて、約256 Gb/sのメモリ帯域幅がある。Redditのr/LocalLLaMAは、消費者向けハードウェアで何をしているかを見るのにいい場所だよ。もちろん、彼らがやってることの中にはクレイジーなものもあるから、見たものをそのまま参考にしない方がいいよ。10年後のことは誰にもわからないけどね。今、TSMC、Samsung、Intelのトップシリコンファブは、ハイパースケーラーからのGPU需要に応えるために全力で働いてる（Microsoft Azure、AWS、Googleなど）。シリコンチップの製造は、伝統的にブームとバストのサイクルを追ってきた。でも、地政学的緊張、グローバルトレードの障壁、AI駆動の進歩、そして他のブラックスワンイベントがあるから、今後数年がどうなるかは誰にもわからない。

その通りだね！AIの質がどんどん悪化してる。

著者は、こういう文での英語の二重否定が互いに打ち消し合うってことを知らないんじゃないかな。

これは著者の偶然の二重否定だと思った。自分で書いたって宣言しようとしてるみたい。非ネイティブスピーカーが書いた可能性があるサインがいくつかあるね。

それを修正しました。「この文書のどれもAIによって書かれたものではありません」と書くべきでした。エラーを見つけてくれてありがとう。

今まで書かれた/エンコードされたすべてのデジタル書籍は数TBに圧縮される。公開されているウェブは約50TB。英語の電子テキストをすべてまとめたら、O(100TB)くらいになると思う。これらの数字はどこから来てるの？その計算方法を知りたいな。どこかで読んだことがあるけど、もうそのソースが見つからない。今世紀以前のすべての書かれたテキストは約50MBだったって。（ソースがないから、間違って引用してるかも）。

画像や動画を追加するだけで、これらの予測は「640KBで十分」という感じになってくるよね。その後は、ロボットに自分で世界を探索させて、さらにデータを集めさせると。真面目な話、画像やインタラクションデータを追加するのは、テキスト生成にもものすごく役立つと思う。

改善は見られなかった（gpt4.5と4oを比較）。参考までに、4.5と4oの間には大きな違いがあるよ。

公共のウェブは約50TB もしかしてEBって書きたかったの？

50TB 400ドル分のハードドライブにウェブ全体が収まるわけないよ。

あなたが言ってるのは、図書館のコングレスのことかな、約50TBって？インターネットは絶対にもっと大きいよ。

これはジャック・モリスの投稿に関連してるかな。https://blog.jxmo.io/p/there-are-no-new-ideas-in-ai-only 彼は、LLMの大きな飛躍が主に新しい訓練方法やアーキテクチャの変更から来たわけではなく、新しいアーキテクチャがより多くのデータを取り込む能力にあるって話してるんだ。

ちょっとした指摘だけど、ビッグO表記をそんな風に使わないでほしいな。固定のストレージ量はO(100TB)だよ。

これは本当に素晴らしいね。作ってくれてありがとう。あなたへのクレジットを入れたチャートのスクリーンショットとリンクを、私の投稿のコメントに載せたよ。

このチャートが視覚的にとても明確に示しているのは、GPT-3がどれだけ大きな飛躍だったか、そして誰もそれに匹敵するものを作れるようになるまでに長いギャップがあったってことだと思う。

言語モデルが圧縮にどれだけ強力かって、すごく興味深いよね。アシスタントモデルとして訓練すると、一般的なテキストよりもアシスタントのトランスクリプトを圧縮するのが得意になるんだ。UncheatableEvalっていう評価があって、これがすごく興味深くて尊敬してるんだけど、https://huggingface.co/spaces/Jellyfish042/UncheatableEval これは、さまざまな圧縮タスクを使ってLLMがどれだけ優れた言語モデルかをテストするものなんだ。このタスクは基本的に「チート」できないから、圧縮はゲームできないベンチマークなんだよ！

知能は圧縮だって言う人もいるよ。

90年代には「インターネット」をフロッピーディスクに入れるって冗談を言ってたけど、今はそれがちょっと可能になってるよね。

参考までに（Googleによると）: > 2025年6月26日現在、英語のウィキペディアには700万以上の記事と6300万ページが含まれています。テキストコンテンツだけで約156GBだそうです。すべての改訂を含めると、データベースの総サイズは約26テラバイト（26,455GB）になります。

みんながチェックしたいかもしれない面白いプロジェクトがあるよ: https://kiwix.org/ オフラインで利用できるように、いろんなソースをダウンロードできるんだ。信頼できるインターネット接続がない地域には、事前にロードされたデバイスも提供しているよ。

情報理論や圧縮の観点から言語モデルを研究するのは小さな分野だけど、効率やスケーリングのためにはますます重要になってきてるよね。今日このことについて話し合ったんだ。 https://www.youtube.com/watch?v=SWIKyLSUBIc&t=2269s

ブリタニカ百科事典には約4,000万語があるんだって。[1] それは約0.25GBに相当する。1語あたり6バイトと仮定すると、8.1GBのファイルが大量の人間の情報をエンコードできるのも納得だよね。[1]: https://en.wikipedia.org/wiki/Encyclopædia_Britannica

8.1GBってすごい量だね！64,800,000,000ビットだよ。100ビットならなんとか想像できるけど、1,000ビットもまあいいかな。10,000ビットはちょっと無理だな。100万ビット？それはかなり多い感じがする。64百万ビットなんて、全然想像できない数字だよ。しかもこれは64百万の千倍だし！

機械学習モデルは圧縮データじゃなくて、圧縮アルゴリズムだってことを指摘するのは、いつまで経っても飽きないよ。

1についてだけど、古典的な圧縮も、送信者と受信者が同じ巨大な辞書にアクセスできれば、非常に効果的だよ。

Gemmaモデルはこのリストに入れるには小さすぎるね。T5のことは歴史的に非常に重要だけど、彼らは11B以下だからあまり言うことがないんだ。でも、確かにとても興味深くて重要なモデルのセットだよ。