ハクソク

世界を動かす技術を、日本語で。

サンディアが脳のようなストレージフリーのスーパーコンピュータを稼働開始

353日前原文(blocksandfiles.com)

概要

Sandia National LabsがSpiNNaker2スーパーコンピュータを導入。 SandiaとSpiNNcloudの協力による世界初の商用製品。 脳型計算（ニューロモルフィック）技術を核抑止任務などで活用。 従来のGPUやストレージを排除し、高速DRAMと分散アーキテクチャを採用。 高効率・省電力で次世代防衛分野にも応用可能。

Sandia National LabsとSpiNNaker2スーパーコンピュータ

  • Sandia National Labs が SpiNNaker2スーパーコンピュータ を導入
  • Sandia と SpiNNcloud の共同開発による世界初の商用ニューロモルフィックコンピュータ
  • NNSA（米国国家核安全保障局） の Advanced Simulation and Computing (ASC)プログラム による資金提供
  • 核抑止任務への ニューロモルフィック計算技術 活用の研究推進
  • SpiNNakerは“ Spiking Neural Network Architecture ”の略称、脳を模倣したリアルタイム大規模モデル構築が可能
  • 脳型ネットワークの大規模シミュレーションで脳理解の深化と計算能力限界の検証に貢献

SpiNNaker2の技術的特徴

  • Sandia が導入したシステムは 24ボード構成、175,000コア 搭載
  • 各サーバーボードには 48枚のSpiNNaker2チップ を搭載
    • 1チップあたり 152コア と専用アクセラレータ内蔵
    • 1チップあたり 20MB SRAM 搭載
    • 1ボードあたり 96GB LPDDR4外部メモリ
  • 90ボード構成で 8,640GB DRAM、1,440ボードなら 138,240TB DRAM を実現
  • 高速チップ間通信 による分散アーキテクチャ
  • 中央集約型ストレージ不要、SRAMとDRAMにデータを保持
  • OSやディスク非搭載、標準のパラレルイーサネットポートでデータ入出力
  • 現行最大構成では 1,050万コア超、生物学的リアルタイム性能を維持

SpiNNaker2の応用分野と今後の展望

  • 従来型GPUシステム に比べて 消費電力効率が高い
  • イベント駆動型計算 や複雑なシミュレーションにも対応
  • 国防・次世代防衛分野 での計算需要に最適
  • SpiNNcloud CEO Hector A. Gonzalez によると、 国家安全保障用途 にも適応可能
  • ニューロモルフィック技術 の社会実装と研究促進の起点

Hackerたちの意見

ストレージなし？マジで！ああ…138240テラバイトのRAMか。なるほど。

└

まあ、電源切らないように気をつければいいんじゃない？

└

サンディアの場合、24ボード、175,000コアのシステムを受け取ったそうだ。だから、たった2304GBのRAMってわけか。

└

読み間違えてるのかな、それとも計算が合わない？138240GBじゃなくて138240TBじゃない？

└

ニューロモルフィック手法が138240 = 0を示せるなら、火星でブロックチェーンを可能にすることに驚くべきことはないよね？ https://cointelegraph.com/news/neuromorphic-computing-breakt...

└

記事は真実を隠していて、実際には直接接続された耐久性のあるストレージがないんだ。既存のHPCハードウェアにFabric経由で接続されていて、ほぼ確実にデータをSpinnakerにロードして結果を保存しているんだよね。結局、プロセッサはデータをロードして処理し、耐久性のあるデータに戻すか、何らかの目に見える副作用を生成するだけなんだ。

記憶に留めておけるなら、何もメモしなくてもいいよね…

これが何のためのものか、どう動くのかあんまり情報がないね :/

└

せめて遅いバージョンのコードを実行できるシミュレーターが見たいな。

└

https://arxiv.org/abs/2401.04491

GPUラックに似たメモリ/ネットワークアーキテクチャに集約したのが面白いね。 - チップあたり152コア、SMあたり約128のCUDAコアに相当 - チップあたりのSRAM（20MB）はSMの高速共有メモリに相当 - ボードあたりのDRAM（48チップで96GB）はGPUのグローバルメモリに相当 - ボード同士はNVLinkに似たものでネットワーク接続されてる。DRAMにHBM使ってるのかな、それともメモリアクセスの統合みたいなことしてるのかな。

ニューロモルフィックコンピューティングについて聞くたびに、この分野で働いていたこの記事の著者のことを思い出すんだ。『熱力学コンピューティング』ってやつね。https://knowm.org/thermodynamic-computing/ これまで読んだ中で、影響力は大きいのにあまり知られてないエッセイだと思う。俺にとっては、この人はDARPAで静かに働く先見の明がある天才で、この記事を読んだとき、未来の科学を垣間見た気がした。これが俺の考え方や進む道に影響を与えてきたのは、もう8年になるよ。

└

いや、この記事はすごいよ。たくさんのアイデアが共鳴するけど、うまく言葉にできないんだ。シェアしてくれてありがとう、みんなに読ませなきゃ。

└

面白い読み物だった、OPよりもね。ありがとう。

└

これって、ただのハードウェアに接続されたシミュレーテッドアニーリングで、壮大な熱力学の第二法則の再表現じゃないの？

└

哲学的なコメントはちょっと難解で、投稿の内容を損なってると思う。例えば…「物理学、そしてより広く言えば科学の追求は、現実の歯車がどう回るかを理解するための非常に成功した方法論です。他に方法はないし、人類のこれまでの成功を考えれば、他の方法が必要だとは思えません。」物理学、つまり物理的な方法は確かに成功してるけど、それは物理的な方法が選ぶタイプのことに対してだけ！それが包括的だと言うのは、問題を先送りするだけで、主張自体もこれらの方法では証明できないよ。二つ目の主張も同じ誤りを含んでるけど、より強調されてる。これはただの科学主義で、科学主義は、反論が示すこととは別に、明らかに自己矛盾してるはず。物理学以外の方法はないという主張（物理学が典型的な経験的科学であると仮定して）って、科学的主張なの？明らかに違うよね。これは哲学的な主張だ。それだけで主張を反証してる。だから、哲学が話に入ってきたわけで、これは小さな譲歩じゃないよ。

└

これって、Extropic（https://www.extropic.ai/）が商業化して市場に出そうとしてるものなの？

└

これはまさに境界線上のクレイジーな記事だね。「物理学とコンピューティングの新しいフレームワーク」って言ってるけど、実際はSATのための量子アニーリングだし、笑っちゃうよ。量子力学についての説明も不正確で、記事のポイントには全然届いてないし。ちょっとした変な画像を加えたら、「クレイジーな rant」って印象が完成しちゃったね。

このアーキテクチャの元々の意図は、大規模なスパイキングニューラルネットワークをリアルタイムでモデル化することだったんだけど、ハードウェア自体は特別なものじゃなくて、基本的にはメッセージパッシング用の高速インターコネクトを持つARMチップの集まりなんだ。この記事が実際に何に使われるかを明言してないのは興味深いよね。単にイベント駆動の（メッセージパッシング）シミュレーションで、防衛用途に応用されるってだけなんだ。

└

おそらくアイジングモデルや相転移、凝縮物質のことが関係してるんだろうな、もっと大きなブームを作るために。

スパイキングニューラルネットワークの正確なシミュレーションには、スパイク間の厳密な因果関係を維持する必要があることを考えると、これらのアーキテクチャがどれほど実現可能か疑問に思う。効果を正確な順序で処理しないと、シミュレーションはアーキテクチャやネットワークトポロジー、レースコンディションの解決に関するものになってしまう。スパイクが別のスパイクの前に正確にどのように振る舞うかをシミュレートしないと、STDPのようなものが大きく外れてしまう。 "オンライン学習"の約束の地は、滑り台になってしまうだろう。四元数の最小ヒープ実装を使った優先度キューは、典型的なハードウェアでスパイクをシリアライズするための最速の方法だと思う。これは生物学ではこうはならないけど、異なる基盤で生物学をシミュレートしようとしているから、いくつかの妥協が必要なんだ。分散型でより非決定論的なアーキテクチャで大成功を収めることができないとは言わないけど、それは簡単な戦いを勝ち取った後に挑むべき非常に難しい戦いだと思う。

└

アルテム・キルサノフが、樹状突起コンパートメントにおける異なるシナプス可塑性ルールについての最新の分析で神経化学やニューロンの種類についての洞察を提供してるよ。[0] より現実的なアプローチでニューロンをシミュレーションすると、タイミングが決定論的になることもあるんだ。[0] https://www.youtube.com/watch?v=9StHNcGs-JM

└

多くの神経形態コンピューティングプラットフォームは、グローバルに非同期でローカルに同期したソルバーハードウェアを扱うのが得意だよ。直感に反するデザイン選択がいくつか出てくるし、必然的に任意の順序のテンソル機能を持つベクトルマシンに繋がるんだ。素晴らしい一日を！

この機械の費用を誰が払ったのか、ちょっと気になる！サンディアが定価で買ったの？それともSpiNNcloud Systemsが無料（もしくはかなり安く）で提供したのかな？後者だと思うけど。もしかしたら、サンディアの人がここにいて詳細を教えてくれるかも？SpiNNcloud Systemsは誤解を招く主張が多いことで知られてるし、例えば彼らのホームページには「ダイナミックスパース性を活用しているアルゴリズムの例」としてDeepMindやDeepSeek、Meta、Microsoftが挙げられてるけど、これって彼らがSpiNNcloud Systemsの機械を使ってるかのような誤解を招くよね。エネルギー効率に関する主張（「現在のGPUより78倍エネルギー効率が良い」とか）も怪しいし、エネルギー消費をどう測ってるのか、計算能力とのトレードオフはどうなってるのか知りたい。例えば、Raspberry PiはNVIDIA Blackwellよりも絶対的なエネルギー消費が少ないけど、これは意味のある比較なのかな？この機械のプログラミング方法も知りたい。ニューロモルフィックコンピュータは今までプログラミングがすごく難しかったから。JAX、TensorFlow、PyTorchはSpiNNaker 2に移植されてるのかな？ちょっと疑わしいけど。

└

元社員として（しかもHPCもやってたけど）、サンディアがコンピュータハードウェアを無料で受け取った例は知らないな。

└

Deep Mind（Googleの強化学習ラボ）、Deep Seek（AlibabaのLLMイニシアティブ）、Deep Crack（EFFのDESクラッカー）、Deep Blue（IBMのチェスコンピュータ）、そしてDeep Thought（ダグラス・アダムスのユニバーサルブレイン）など、いろんな名前があるよね。だから、これもDeep Spike、Deep Spin、Deep Discount、あるいはストレージフリーなデザインを考えるとDeep Voidって呼ぶべきだよね。もしネストされた2D FORTRANループを加速できるなら、Deep DO DOって呼んでもいいし、次のバージョンはDeep #2って名付けるのが自然だよね。JD Vanceとピーター・ティールがタッグを組んで、真剣に考えて、全力でセクシーなスパコンを推進して、資金を全額出すっていうのも面白いかも。クレイ1よりも快適なクッションシートを備えたDeep Couchって名前でね。で、避けられない嫉妬の別れは、マスクとトランプのブロマンスよりも見るのが楽しいだろうね！

└

よくわからないけど、息子がそこで機械エンジニアとして仕事を得たって言いたかっただけなんだ。すごく誇りに思ってるよ。機密事項だからあまり詳しくは話せないけど、彼が仕事を楽しんでいるのはわかる。サンディアに感謝の気持ちを送るよ。

「ストレージフリー」って書いてあって、でも実際にはRAMがある（これもストレージだよね）って、うーん。ジョン・フォン・ノイマンの命令カウンタの概念は短期的には良かったけど、結局は早すぎた最適化だったってみんな気づくよね。RAMとして使われるトランジスタがほとんどの時間待機してるの、すごい無駄だし。結局、高速計算はFPGAの進化版で行われることになると思う。すべてがパイプライン化されて、めっちゃ並列処理される感じで。

└

FPGAは大量のルックアップテーブル（LUT）で実装されてる。基本的には特別な種類のSRAMだね。

20,000のPS5 APUをオンラインにする任務を与えられたんだ。ASRock BC-250を使ってね。各シャーシには12の独立したブレードがあって、コストを抑えるためにSSD/NVMeは入れずにiPXEでブートすることにしたんだ。各APUには16GBのメモリがあったけど、唯一の問題はECCじゃなかったから、ランダムに故障することがあったんだ。すごく大変だったけど、実際にうまくいったよ！