世界を動かす技術を、日本語で。

グーグルの液体冷却システム

概要

  • Liquid cooling はPC愛好家だけでなく、 データセンター でも重要性が増加
  • Google をはじめとする企業がAI時代の 高発熱チップ に対応するため導入を加速
  • CDU(Coolant Distribution Unit) などの専用機器で大規模冷却を実現
  • メンテナンス性信頼性 にも独自の工夫
  • AIブーム と共に今後も水冷技術の普及が進行見込み

データセンターにおけるLiquid Coolingの進化

  • Liquid cooling はもともとPC愛好家の間で親しまれてきた冷却技術
  • 近年は AIチップ などの高発熱化により、 データセンター での採用が急増
  • Google は2018年から TPU(Tensor Processing Unit) 向けに水冷を本格導入
  • 最新世代では サーバー単位 ではなく ラック単位 で冷却ループを構築
  • CDU(Coolant Distribution Unit) を6台1ラックで運用、1台停止でも稼働継続可能な冗長設計
  • CDU は冷却液と施設内の水供給の間で熱交換を実施
  • TPUチップ は直列に接続され、ループ最後のチップの冷却要件を基準に設計
  • 分割フロー型コールドプレート で従来型より効率的な冷却を実現
  • TPUv4 では 裸ダイ 冷却を採用し、冷却効率をさらに向上
  • 冷却ポンプの消費電力 は空冷ファンの5%未満、全体の省エネにも貢献

メンテナンスと信頼性への工夫

  • 水冷 の課題である微生物増殖や漏水リスクは データセンター規模 でも同様に存在
  • クイックディスコネクト継手 などでメンテナンス性を向上
  • Google は余剰CDUによる 無停止保守 を実現
  • 部品のリークテストアラートシステム定期保守・ろ過装置 でリスクを低減
  • 標準化された手順 により大規模運用でも一貫した対応が可能

エンスージアストPCとの比較と今後の展望

  • PC愛好家データセンター で水冷の目的や規模は異なるが、基本原理は共通
  • データセンター では スケール信頼性 の要求が桁違い
  • Hot Chips 2025 では NvidiaRebellions AI なども水冷システムを展示
    • Nvidiaの GB300サーバー は外部水冷接続と柔軟なチューブ構成
    • Rebellions AIのデモでは チラー と水冷ブロックを使用
  • AIブーム が続く限り、 水冷技術 の重要性と普及は今後も高まる見通し

コミュニティへの案内

  • 本記事が参考になった場合、 PatreonPayPal での支援も検討推奨
  • Discord コミュニティへの参加も歓迎

Hackerたちの意見

TPUチップはループ内で直列に接続されているから、自然にループ内の他のチップを通過した液体は、いくつかのチップがより熱くなることを意味するよ。冷却能力は、各ループの最後のチップの要求に基づいて予算が組まれているんだ。もちろん、4つのチップがそれぞれ250Wの電力を出していて、ポンプが1分間に1リットルの水を通している場合、出口の水は入口の水より14°C高くなる必要がある。これは、水がチップを直列に流れる場合でも、並列に流れる場合でも同じことだね。

うーん…でも、チップが直列の場合、最後のチップからの熱伝達は並列の場合よりも少なくなるよね。なぜなら、加熱の速度は温度差に比例するから。並列の場合、最後の理論上のチップのために水は低い温度から始まるし。

つまり、シリーズ接続だと、一番熱いチップを冷やすために他のチップが過剰に冷やされるってことだね。同じ効果を得るためには、もっと水を流さなきゃいけない。

君のコメントには一理あるけど、実際のエンジニアリングにはあまり関係ないね。エネルギーの移動速度は温度差に比例するから、必要な流量を計算することになるけど、チップがシリーズ接続か並列接続かでその流量は変わってくる。

メインフレーム(S/3x0、Crayなど)が50年以上も水冷されてきたのに、超密度のHPCデータセンターが少なくとも20年間液体冷却を使ってきたことを考えると、Google規模のデータセンターの設計がPC趣味のリグと比較されるのは非常に奇妙だね。選択的な健忘症と、笑えるほど的外れな比較ポイントだよ。

ハイパースケールデータセンターは通常、電力密度を気にする必要がなくて、設計者はそれが引き起こす問題から密度を避けることがあるんだ。密度を気にしている現代のHPCクラスターは、たぶん誤った方向に進んでいると言えるけど、MLワークロードに関しては、物理的に近くに配置することで相互接続性の面での利点が出てくるんだよね。

記事から: > 液体冷却はPC愛好者にとって馴染みのある概念で、企業コンピューティングでも長い歴史があるんだ。そして、データセンターのトレンドは、個々のサーバーでより受動的な冷却と高温動作に移行することだった。これは面白いことに、そのトレンドを大きく逆転させているし、おそらくは行ごとの冷却のためだね。

Googleの歴史を考えると、安価なコモディティハードウェアから来てるから、あまり驚かないよね。x86サーバーやOSが仮想化みたいなメインフレーム機能を得るのに数十年かかったのと似てる。https://blog.codinghorror.com/building-a-computer-the-google...

[bri3dが指摘してくれたけど、俺がこの要素を見逃してたんだ。ラックレベルとマシンレベルの冷却液の間に転送があって、最初に理解してたほど新しいことじゃないってこと。彼らの直接のコメントを見てみてね] これについては、返信の中でさらに詳しく書いたけど、もう少し上の方で言っておくべきだね:ここでの革新は「冷却に水を使ってる」ってことじゃない。ここでの革新は、施設の外にあるチラーでサーバーを直接冷却してるってことなんだ。ほとんどのメインフレームは、コアから熱を取り出して、従来のヒートシンクや冷却ファンで拾えるエッジに運ぶために水冷を使う。家庭用PCでも、熱をより効果的に冷却できる貯水槽に移動させてる。Googleがやってるのは、通常は施設内の空気を冷却するために使う巨大なチラーを使って、水を冷却して、それを直接すべてのサーバーにポンプで送ってるんだ。戻ってきた水はチラータワーで冷却される。これでチラータワー以外の空気ベースの転送が完全に排除される。これはサーバーやラック単位でやってるんじゃなくて、データセンター全体で一度にやってるんだ。チラーのメンテナンスやポンプの故障をどう扱ってるのかめっちゃ気になる。冗長性はあると思うけど、そのシステムはすごく印象的じゃないとダメだよね。ハードウェアの故障が起きる前に長時間オフラインにはできないから! [編集:別のコメントで指摘されたけど、AWSもこれをやってるみたいで、正直彼らの写真を見ると何が起こってるのかがすごくわかりやすいよね: https://www.aboutamazon.com/news/aws/aws-liquid-cooling-data...]

これがGoogleの典型的なやり方だね。彼らは物事を再発明して、自分たちが最初だって言うんだ。Googleはコストに敏感だから、こういう問題に対する解決策は他にもあるかもしれないけど、彼らはそれにお金を払いたくないんだ。彼らの規模では、物事を再発明して内部でやる方が安上がりで、そして最初だと主張するんだよね。

AIが水を無駄にしているという話をよく聞くけど、これはその一例かな?もしかしてCDUが施設の水供給を使って蒸発冷却をしているとか?

CDUはデータセンター内にあって、厳密に液体同士の交換を行っている。ラックブロックの冷却液から施設の冷却液に熱を移すんだ。施設はその後、屋外の熱交換を行うために、時にはオープンループの蒸発冷却(冷却塔に水を噴霧する)を使うこともある。すべてのデータセンターには何らかの形の施設冷却があって、CDUやローカル水冷があってもなくても、特に関係ないんだ。AIと水の話はちょっと疲れるよね。水は水循環の中で効率的な部分や場所に移動するだけだから。もし水に関連する外部要因を正確に価格に反映できるなら、「総稼働エネルギー消費」の指標の方がずっと役立つと思う。データセンターが水を蒸発させるために大量のエネルギーを使っているのか、それとも大したことないのか、っていうのが重要だよね。結局、これは水の市場がどれだけ非効率的で不正確に価格設定されているかを示しているだけなんだ。特にアメリカでは、水の権利や価格、特定の場所での水の実際の利用がしばしば驚くほど相関していないから。

Hacker Newsで議論の続きを見る