世界を動かす技術を、日本語で。

FP64セグメンテーションの15年と、なぜ「Blackwell Ultra」がそのパターンを打破するのか

概要

  • NVIDIAのGPUにおけるFP64(倍精度)性能の歴史的変遷 の解説
  • 市場セグメンテーション戦略 としてのFP64制限の意図
  • AIブームによるFP64性能の重要性低下 とFP64エミュレーション技術の台頭
  • 最新世代GPUでのFP64削減と低精度計算強化 の動向
  • 今後の市場分断の軸がFP64から低精度演算へ移行中 である可能性

NVIDIA GPUにおけるFP64性能の歴史と市場戦略

  • RTX 5090は 104.8 TFLOPSのFP32演算性能1.64 TFLOPSのFP64性能 を持つGPU
  • FP64:FP32比率は1:64、この大きな差は 技術的制約ではなく意図的な市場分断策
  • 2010年Fermi世代から 消費者向けとエンタープライズ向けGPUでFP64性能の差 が拡大
    • Fermi(2010年): 1:8
    • Kepler(2012年): 1:24
    • Maxwell以降(2014年~): 1:32~1:64
  • FP64性能の成長は15年で約10倍、FP32は 約78倍へ大幅成長
  • 消費者向けGPUは主にゲームや映像編集用途 でFP64不要
  • 高性能計算(HPC)や科学技術計算 ではFP64が必要不可欠
  • FP64性能を制限することで、エンタープライズ向けGPUの高価格を正当化
    • ECCメモリ・NVLink・サポート契約なども差別化要素
  • 2017年、GeForce EULAでデータセンター利用を明示的に禁止
    • 従来の技術的な分断から 契約上の分断へ

AIブームとFP64エミュレーション技術の進化

  • AIの大規模学習ではFP64はほとんど不要、FP32や低精度(FP16, BF16, FP8, FP4)が主流
  • 消費者向けGPUでもAI用途で十分な性能 を発揮可能
  • FP64エミュレーション (1971年Dekkerの論文が起源)
    • 64ビット値を2つの32ビット値に分割して扱う手法
      • 精度は53ビット→48ビットへ低下
      • 速度はFP64専用回路より高い場合も
  • Ozakiスキーム (行列積専用、FP64精度を維持しつつ低精度Tensor Core活用)
    • FP64値を複数のFP8値に分割して計算し、最終的に合算
    • Tensor Coreの高速性を活かしつつFP64精度を確保
    • 2025年10月cuBLASで公式サポート

最新世代GPUと今後の市場分断

  • NVIDIA Blackwell Ultra世代B300ではFP64:FP32比が1:64へ大幅低下
    • B200の37TFLOPSからB300の1.2TFLOPSへFP64性能が大幅減
    • NVFP4 Tensor Core等、低精度演算ユニットが主力
  • エンタープライズGPUでもFP64専用回路の縮小が進行
  • FP64エミュレーションは今後も継続的に活用される見込み
  • NVIDIAはFP64計算自体の廃止は否定、今後も改良を予定
  • 今後の市場分断の軸はFP64からFP16/FP8など低精度演算比率へ 移行する可能性
    • RTX 5090はFP16:FP32=1:1、B200は16:1と 新たな差別化ポイント が誕生

参考文献・出典

  • AnandTech: GTX 480/470 FP64比率解説(アーカイブ)
  • NVIDIA Ampere GA102 GPUアーキテクチャホワイトペーパー
  • Alibaba Product Insights: A100 vs RTX 3090比較
  • Wccftech: 2017年GeForce EULAデータセンター制限
  • T. J. Dekker(1971年)double-float arithmetic論文
  • Andrew Thall(2007年)GPU向け拡張精度浮動小数点論文
  • Ozakiら(2011年)行列積の誤差なし変換論文
  • NVIDIA公式ブログ(2025年ISC、cuBLASエミュレーション解説)
  • HPCwire: NVIDIAの64ビット計算継続方針(2025年12月)

Hackerたちの意見

NVIDIAの成功が予想外の方向から来ているのは本当に驚きだよね。最初はグラフィックスチップを作るために始まったのに、消費者向けとプロ向けの違いはCADサポートやゲームが使わないオプションのOpenGL機能に過ぎなかった。プログラム可能なシェーダーはグラフィックスレンダリングのニーズのために追加されたけど、結局はGPGPUの概念を生み出すことになった。NVIDIAはCUDAを作ってプロモーションすることで、これにうまく反応したんだ。GPUがFP64機能を持っているのも、GPGPUが始まった頃は伝統的なHPCワークロード、つまりPDEの数値解法が中心だったからなんだよね。数年後、暗号通貨ブームがあって、GPUの価格が何年も上がったけど、浮動小数点機能には全然影響しなかった。今や、FP64は機械学習のおかげで出てきたけど、これはCUDAが始まった頃とは全然違う分野だよね。NVIDIAは歴史の中で運が良かったけど、新しいワークロードやユースケースにうまく対応してきたのも事実。ただ、その変化が既存の戦略やロードマップをひっくり返す awkwardな瞬間もあったよね。

それに、セガに助けられたこともあるんだ。ドリームキャスト用のコンソールGPU(NV2)を約束してたのに納品できなかったとき、当時のセガのCEO、入交昭一郎が現金を持たせて株と引き換えにしたんだよね。これがなかったら、Riva 128が状況を変える前にNvidiaは破産してたかもしれない。セガのコンソール部門は潰れたけど、あまり関係なかったかな。でも、彼らはその株を約1500万ドル(3倍)で売ったんだ。もし持ってたら、ジェンセン・ファンはそれが1兆ドルの価値になるって推定してたらしいよ。明らかにセガ、特にそのコンソール部門はVCにはあまり興味がなかったけど…俺の夢は、もしセガとNvidiaが一緒にやってたら、Nintendo Switchの代わりにSega Tegra Shieldがあったらどうなってたかってこと!それに、もしセガがSteam Deckにライセンスを与えてたらどうなってたんだろう?俺がセガファンボーイなのは分かるけど、初めて持ったコンソールがメガドライブだったから、どうしてもそう思っちゃうんだよね! [0] https://www.gamespot.com/articles/a-5-million-gift-from-sega... [1] https://youtu.be/3hptKYix4X8?t=5483&si=h0sBmIiaduuJiem_

GPUの歴史はおかしいし、金融関係の人たちが動かしてる部分もあるよね。みんな、2012年にイリヤ・サツケバーがNvidiaのGPUでAlexNetを使って成功したときに、NvidiaがGPU AIブームを引き起こしたと思ってるけど、実は2004年に韓国の研究者たちが最初にATI Radeon(今のAMD)を使ってGPU上でニューラルネットワークを実装したんだよね。https://www.sciencedirect.com/science/article/abs/pii/S00313... ATIとNvidiaは2000年頃に最初のGPUを出すために競ってたのを覚えてるよ。ほんと、すごいスピードで色々起こってた。NvidiaはAMDがサーバーレベルや統合型ノートPCプロセッサーでIntelを狙ってたおかげで、ATIを買った理由にもなったんだ。

ほとんどの人は、NVIDIAがディープラーニングを見つけるまでにどれだけ多くの行き止まりのアプリケーションを探求してきたかを理解していないよ。それにはすごく時間がかかったし、運だけじゃなかったんだ。

これは運じゃないと思う。必然だったんじゃないかな。彼らは高性能コンピューティングに会社を位置づけたし、たとえ自分たちがHPC企業だと思ってなかったとしても、誰もがどんどん計算を増やしてたから、何かが起こるのは避けられなかったんだよね。それに、いつものように企業の欲が出て、うまく実行したんだ。よく位置づけられた企業の唯一のリスクは、時代の先を行きすぎること。正しい市場にいても、キラーアプリが出るまで生き残れないことがあるからね。

まあ、運もあるかも。でも、何かを徹底的に最適化して顧客の需要に応えると、お金が稼げるっていう原則もあるよね。Nvidiaは「うちはその市場にはいない」っていう罠をうまく避けたよ(電話、GPU、効率的なCPU)。Intelは大きすぎて利益も出てたから、隣接市場を育てるのが難しかったけど、Nvidiaはできる限りそれに応じて需要を増やそうとしたんだ。

逆に聞きたいんだけど、AMDはどうしてそんなに比較的悪いの?

FP64の性能は消費者向けでは制限されてるのは、アメリカ政府が核兵器研究に重要だと考えてるからなんだ。FP64のスループットがある閾値を超えると、そのチップは別のカテゴリーに入って、誰に売れるかや顧客確認の規制が厳しくなる。FP32はこの閾値には関係ないよ。https://en.wikipedia.org/wiki/Adjusted_Peak_Performance これは市場セグメンテーションの戦略じゃなくて、2006年から続いてることなんだ。毎年受ける輸出管理のトレーニングの一環だよ。

FP8やFP4などの輸出管理も含めてアップデートされるのが待ちきれないよ。ディープフェイク対策のために、急にますます強力な消費者向けGPUが買えなくなるなんてことになったらどうしよう。

これめっちゃ面白いね。理論的にはFP64をFP32の演算でエミュレートできる可能性があるから。だけど、Nvidiaは一般的に消費者向けGPUでFP64の必要性をあまり感じてなかったと思う。Ampere(RTX3090)のホワイトペーパーにも「FP64コードを含むプログラムが正しく動作するように、少数のFP64ハードウェアユニットが含まれている」と書いてあるし。2023年までの消費者向けGPUのAPP値をプロットした追加のグラフを作ってみるつもり。FP64の調整されたピークパフォーマンスの主張に意味があるかどうかを見てみたいんだ。ところで、これらの規制の下でGPUはベクトルプロセッサーとしてカウントされるか知ってる?定義によって重み付けが変わるから。 https://www.federalregister.gov/documents/2018/10/24/2018-22... 今のところ見つけたのは、Note 7に「ベクトルプロセッサーは、64ビット以上の数の浮動小数点ベクトル(1次元配列)に対して同時に複数の計算を行う組み込み命令を持ち、少なくとも2つのベクトル機能ユニットと、各64要素以上のベクトルレジスタが少なくとも8つあるプロセッサー」と定義されていること。NvidiaのGPUはワープあたり32スレッドしかないから、ベクトルプロセッサーにはカウントされないと思う(ちょっと変だけど、誰が知ってる?)。

この制限がまだ残ってるのは驚きだね。アメリカの核弾頭モデルの最新型は1970年代に開発されたもので、その頃のスーパーコンピュータの性能は1ギガフロップスにも満たなかった。アメリカが1992年に核弾頭のテストを停止した時、最上級のスーパーコンピュータは10ギガフロップス未満だった。アメリカの武器庫が必要とするのは、物理的なテストなしで老朽化した弾頭の挙動をシミュレーションするための速いコンピュータだけで、初めて核兵器を作る国には関係ないことだよね。

2019年のRadeon VIIについては、なぜかAMDがセグメンテーション詐欺を忘れて、ゲーム用GPUに本物のFP64を入れたことが言及されてないよね。この2023年のリストでは、FP64の性能が他の消費者向けGPUよりも圧倒的に速いんだ(エンタープライズGPUはリストに入ってないけど)。最後までスクロールしてみて。https://www.eatyourbytes.com/list-of-gpus-by-processing-powe...

Hacker Newsで議論の続きを見る