それに、セガに助けられたこともあるんだ。ドリームキャスト用のコンソールGPU（NV2）を約束してたのに納品できなかったとき、当時のセガのCEO、入交昭一郎が現金を持たせて株と引き換えにしたんだよね。これがなかったら、Riva 128が状況を変える前にNvidiaは破産してたかもしれない。セガのコンソール部門は潰れたけど、あまり関係なかったかな。でも、彼らはその株を約1500万ドル（3倍）で売ったんだ。もし持ってたら、ジェンセン・ファンはそれが1兆ドルの価値になるって推定してたらしいよ。明らかにセガ、特にそのコンソール部門はVCにはあまり興味がなかったけど…俺の夢は、もしセガとNvidiaが一緒にやってたら、Nintendo Switchの代わりにSega Tegra Shieldがあったらどうなってたかってこと！それに、もしセガがSteam Deckにライセンスを与えてたらどうなってたんだろう？俺がセガファンボーイなのは分かるけど、初めて持ったコンソールがメガドライブだったから、どうしてもそう思っちゃうんだよね！ [0] https://www.gamespot.com/articles/a-5-million-gift-from-sega... [1] https://youtu.be/3hptKYix4X8?t=5483&si=h0sBmIiaduuJiem_

GPUの歴史はおかしいし、金融関係の人たちが動かしてる部分もあるよね。みんな、2012年にイリヤ・サツケバーがNvidiaのGPUでAlexNetを使って成功したときに、NvidiaがGPU AIブームを引き起こしたと思ってるけど、実は2004年に韓国の研究者たちが最初にATI Radeon（今のAMD）を使ってGPU上でニューラルネットワークを実装したんだよね。https://www.sciencedirect.com/science/article/abs/pii/S00313... ATIとNvidiaは2000年頃に最初のGPUを出すために競ってたのを覚えてるよ。ほんと、すごいスピードで色々起こってた。NvidiaはAMDがサーバーレベルや統合型ノートPCプロセッサーでIntelを狙ってたおかげで、ATIを買った理由にもなったんだ。

ほとんどの人は、NVIDIAがディープラーニングを見つけるまでにどれだけ多くの行き止まりのアプリケーションを探求してきたかを理解していないよ。それにはすごく時間がかかったし、運だけじゃなかったんだ。

これは運じゃないと思う。必然だったんじゃないかな。彼らは高性能コンピューティングに会社を位置づけたし、たとえ自分たちがHPC企業だと思ってなかったとしても、誰もがどんどん計算を増やしてたから、何かが起こるのは避けられなかったんだよね。それに、いつものように企業の欲が出て、うまく実行したんだ。よく位置づけられた企業の唯一のリスクは、時代の先を行きすぎること。正しい市場にいても、キラーアプリが出るまで生き残れないことがあるからね。

まあ、運もあるかも。でも、何かを徹底的に最適化して顧客の需要に応えると、お金が稼げるっていう原則もあるよね。Nvidiaは「うちはその市場にはいない」っていう罠をうまく避けたよ（電話、GPU、効率的なCPU）。Intelは大きすぎて利益も出てたから、隣接市場を育てるのが難しかったけど、Nvidiaはできる限りそれに応じて需要を増やそうとしたんだ。

逆に聞きたいんだけど、AMDはどうしてそんなに比較的悪いの？

FP8やFP4などの輸出管理も含めてアップデートされるのが待ちきれないよ。ディープフェイク対策のために、急にますます強力な消費者向けGPUが買えなくなるなんてことになったらどうしよう。

これめっちゃ面白いね。理論的にはFP64をFP32の演算でエミュレートできる可能性があるから。だけど、Nvidiaは一般的に消費者向けGPUでFP64の必要性をあまり感じてなかったと思う。Ampere（RTX3090）のホワイトペーパーにも「FP64コードを含むプログラムが正しく動作するように、少数のFP64ハードウェアユニットが含まれている」と書いてあるし。2023年までの消費者向けGPUのAPP値をプロットした追加のグラフを作ってみるつもり。FP64の調整されたピークパフォーマンスの主張に意味があるかどうかを見てみたいんだ。ところで、これらの規制の下でGPUはベクトルプロセッサーとしてカウントされるか知ってる？定義によって重み付けが変わるから。 https://www.federalregister.gov/documents/2018/10/24/2018-22... 今のところ見つけたのは、Note 7に「ベクトルプロセッサーは、64ビット以上の数の浮動小数点ベクトル（1次元配列）に対して同時に複数の計算を行う組み込み命令を持ち、少なくとも2つのベクトル機能ユニットと、各64要素以上のベクトルレジスタが少なくとも8つあるプロセッサー」と定義されていること。NvidiaのGPUはワープあたり32スレッドしかないから、ベクトルプロセッサーにはカウントされないと思う（ちょっと変だけど、誰が知ってる？）。

この制限がまだ残ってるのは驚きだね。アメリカの核弾頭モデルの最新型は1970年代に開発されたもので、その頃のスーパーコンピュータの性能は1ギガフロップスにも満たなかった。アメリカが1992年に核弾頭のテストを停止した時、最上級のスーパーコンピュータは10ギガフロップス未満だった。アメリカの武器庫が必要とするのは、物理的なテストなしで老朽化した弾頭の挙動をシミュレーションするための速いコンピュータだけで、初めて核兵器を作る国には関係ないことだよね。

それはRadeon VIIがAMD Instinct MI50サーバーGPUのただの残り物だったからだよ。

彼らは、消費者向けバリアントでスループットを1:2から1:4に減らすことで、軽いセグメンテーションを行ったんだ。これで人々に「プロフェッショナル」版を買わせようとしたんだね。スループットが減っても、Radeon VIIは前の最良のFP64製品であるAMD Hawaiiよりも若干良いパフォーマンスを持ってた。大きくて速いメモリのおかげだね。その後のNVIDIAやAMDの消費者向けGPUは、あんなに高いメモリインターフェーススループットには決して達してないよ。Radeon VIIは、FP64のコストパフォーマンスで長年チャンピオンの座を守ってる。私は2019年に買ったやつを今でも使ってるよ。昨年、Radeon VII以来、FP64のコストパフォーマンスが良いGPUが再登場したのは初めてだった：Intel Battlemage B580。残念ながら小型GPUだけど、それでもコストパフォーマンスは素晴らしい。

ゲーマーが使わない機能にお金を払いたがる理由って何？明らかに誰も払いたくないよね。逆に、HPCの人たちがゲーマーに何かを強制的に払わせようとする理由は何なんだろう…そう考えると、ブログ記事の内容がすごく納得できる。

FP64ユニットは約2〜4倍大きいと仮定する。そんなの全然公平な仮定じゃないと思う。例えば、同じユニットで2つのFP32演算か1つのFP64演算ができるアーキテクチャを見たことがあるけど、純粋なFP32アーキテクチャに比べてオーバーヘッドは比較的低い。整数演算ユニットはほとんどそういう風に動いてるし、浮動小数点でもそれを実現するのは難しくない。FP64ユニットは巨大な単目的ブロックとして実装される必要はなく、実際そういうことはほとんどない。実際のハードウェア設計の選択は、FP32:FP64の比率を2:1や4:1にするか、FP64を全く持たずに消費者向けとプロ向けで全く違うコアレイアウトを設計するかのどちらか。FP64の機能を少し持つことの小さなオーバーヘッドは、GPUメーカーにとって多くの世代にわたって価値があると判断されてきた。今やNVIDIAがこんなに大きくなったから、「Blackwell」アーキテクチャの5つの異なる物理実装を見られるようになったんだね。

FP64ユニットは約2〜4倍大きいと仮定する。俺はハードウェアの専門家じゃないけど、知り合いの説明によると、2×f32のFMAユニットに1×f64の機能を追加するのはそれほど多くのハードウェアを必要としないらしい。すでにビットごとのロジックは全部あるし、いくつかのキャリーを伝播させるために追加の制御ラインを加えるだけで済む。だから、SIMDユニットにFP64を追加する際のサイズオーバーヘッドは、100〜300%ではなく、10〜50%くらいだと思う。

FP64ユニットは約2〜4倍大きいと仮定する。これは間違った仮定だよ。FP64は通常、2つのFP32と同じ回路を使っていて、追加するのはそれほど多くない（主に（非）正規化）。頭の中で考えると、オーバーヘッドは大体10%くらいだと思う。 > ゲーマーが使わない機能にお金を払いたがる理由って何？ https://www.youtube.com/watch?v=lEBQveBCtKY FP80はFP64よりもさらに幅広いけど、ゲームの経路探索アルゴリズムに役立つみたい。何百ものユニットの経路探索はGPUに乗せる価値があるタスクだね。

10%って、ちょっとありえないくらい高いね。GPUでも、ほとんどの面積は様々なメモリやインターコネクトで占められてるし。

FP64ユニットは、ほとんどのFP32ユニットの2つを共有できるんだ。乗算器だけがかなり大きくて、最大4倍になることもある。シフターも最大で2倍大きくなることがある。加算器は、キャリー・ルックアヘッドネットワークが大きくなるため、少し大きくなる。だから、主に乗算器とシフターが占める面積を考慮する必要があるけど、それは10%よりずっと少ないと思う。面積は増えるけど、50%（300 m²）には絶対ならないよ。面積が10%増えるだけでも（例えば、最大GPUで60-70 mm²は信じられないほど大きい）、FP64/FP32のスループット比を1:2から1:4、せいぜい1:8に減らすことで、余分な面積は無視できるほどになるはず。1:8の安いIntel Battlemageは、この問題で苦しんでないと思うよ。古いGPUの1:16から最近のGPUの1:64までのさらなる減少は、市場セグメンテーションの欲望以外に説明がつかない。これが、小規模ビジネスや個人ユーザーをFP64サポートの高価格GPUを買える顧客から排除してるんだ。

私の理解では、これはヨーロッパでは強制力がなかったし、他の場所でもそうかもしれない。

Hopperは60 TF FP64、Blackwellは45 TF、Rubinは33 TFだね。NvidiaがFP64サポートを終わらせようとしてるのは明らかで、彼らが売り出してる話は、私が知ってる真剣な計算科学者は誰も信じてないよ。つまり、低精度の演算で高精度をエミュレートできるっていう話。例えば、これを見てみて：https://www.theregister.com/2026/01/18/nvidia_fp64_emulation... エミュレーションのアプローチは遅くて、エラーも多くて、FP64ベクトルには適用できず、行列演算だけにしか使えないみたい。

長い間、AMDはCDNA GPUでNVIDIAよりもはるかに優れたFP64性能を提供してきたんだ（これは古いAMD GCN ISAを引き継いでいて、ゲーム用GPUのRDNAとは似てない）。それでも、AMDのGPUは古い問題を抱え続けていて、ソフトウェアサポートが弱かったり、ドキュメントがイマイチだったり、プログラマーがアプリケーションを開発するために直接使える安価なGPUとのソフトウェア互換性がなかったりする。AMDが「データセンター」とゲーム用GPUのISAを最終的に統一するっていう約束はあるけど、いつ実現するかは不明なんだ。だから、彼らは大企業や政府機関向けの解決策にしかなってない。

AMD MI430Xがその市場を取ってるよ。

そうだね、ダブルワード浮動小数点は通常の浮動小数点の多くの望ましい特性を失っちゃうんだよね。

まあ、それは確かにそうだね。FP32の指数部は11ビットの代わりに8ビットしかないから、これを明確にするために編集するよ。それに、NvidiaがOzakiスキームをどう扱ってるかも結構面白いよね: https://docs.nvidia.com/cuda/cublas/#floating-point-emulatio.... 彼らは一般的に、行内の最大指数に合わせて行のすべての数を整列させる必要があるけど、2つの数のスケールの違いによっては、仮数ビットの数を大幅に増やさないと実現できないこともあるんだ。だから、動的に（ダイナミック仮数制御）Ozakiのスキームを使うか、ネイティブFP64ハードウェアで実行するかを決めてるんだよね。あるいは、ユーザーに仮数ビットの数を決めさせる（固定仮数制御）こともできるけど、これは速いけどFP64の精度の保証はなくなっちゃう。