https://developer.apple.com/documentation/technotes/tn3205-l... macOSは3月19日からThunderbolt経由のRDMAをサポートしてるよ。

これはThunderboltブリッジ上のConnextX4だね。ここはよく知られた領域だよ。最近、オープンソースのヒーローが登場しない限り、MacOSはこのカードやイーサネット経由でRDMAをサポートしてないんだ。Thunderbolt経由でしかサポートされてない。彼のiperf3の結果は、単一の25Gポートでフルスピードが出せることを示してる。この文脈では、クロスプラットフォームのSMBファイルコピーはあまり意味のないベンチマークだと思う。個人的には、複数の上流ホストにネイティブThunderboltインターフェースを提供するネットワークスイッチがあれば、かなりクールな製品になると思うけど、これがRDMAの問題を魔法のように解決するわけじゃないよね。これはただの別の考えだけど、Mikrotikが作るべきもののように思える。

俺はThunderboltを使った25GbEのセットアップをしてるんだけど、作者のと似たような感じかな。ただ、俺のファンは3Dプリントのケースじゃなくて、紐で繋がってるだけなんだ。macOSのSMBはマジでひどいよ。重い負荷をかけると（例えばAudibleライブラリの大量変換とか）、スタックしたり切断されたりすることがある。試行錯誤で見つけたパラメータ（/etc/nsmbd.confにある）で、なんとかそれなりに動くようになったけど：dir_cache_off=yes、file_ids_off=yes、notify_off=yes、mc_on=no。でも、まだまだひどい。LinuxをParallelsのVMで動かす方が全然マシだよ。

Mac Studioは100W以上なのに、25G NICは25W未満なんだよね（普通のPCIeスロットの電力制限がそれ）。

そんなに悪くはないけど、数ワットの電力でも放熱できないと、熱くなりすぎて火傷しちゃうよ。ヒートシンクの上に強制空冷するのはすごく効果的だね。負荷時の15Wは、150-200Wを引き出せるハイエンドデスクトップCPUよりもずっと低い。NVMeドライブもそうだよね？アイドル時にノートパソコンのバッテリーを一晩で使い果たすくらいの電力を消費して、悪いケースだと60℃以上に達することもある。これ、10Gbpsのモジュールだけど。USB4のエンクロージャーは全部ヒートシンク付きだよ。

俺の理解では、銅でそんなに速く電磁気を揺らすにはちょっとした怒りが必要なんだよね。不完全なトランジスタがその操作範囲をフルに使って、ある種のカオスをコントロールする感じ？フィールドとか色々。

NICって結構頑張ってるのかな？過去の経験から言うと、10ギガのNICがミニサイズのUDPパケットを送受信してると、Xeon CPU全体でも追いつけなかったことがあった。確かIntel DPDK使ってた時もそうだった。

イーサネットは物理層でトランスを通して隔離されてるし、常に電力を消費してる。Thunderboltは直接電流を流してるだけ。イーサネットは色々な理由があるけど、大きな理由の一つは遠くの機器間でグラウンドループを作らないこと。ネットワークケーブルを隔離しなかったら、遠くのデバイス間で数アンペアの電流が流れちゃって、それは持続可能じゃない。USBを2台のデバイス間で接続する時にはそんな問題はないけどね。

距離の問題だね。25GbaseTは30m以上に対応してるけど、Thunderboltはアクティブケーブルなしで1mが限界。もっと頑丈な信号を作るのはかなり大変なんだ。しかも、コンピュータはすでにPCIeとThunderboltを話せるから、CPU上でそれができるはず。ここではUSBを受け取って、それをイーサネットに変換しなきゃいけないんだけど、CPUよりもずっと古いプロセスノードでやってる。さらに、最近まで10GbitでもUSB4PCIeブリッジチップを使わなきゃいけなくて、それ自体が熱くなってたから、一般的なPCIe接続を提供して、そこから従来のネットワークチップに繋がるっていう二重のホップが必要だった。25GbitをUSBに直接変換するのがもう出てるかはわからないけど、最近は単一チップのUSB NICの10Gbitアダプターが大量に出てきてるから、たぶんPCIeじゃなくて、ずっと冷却性能も良いと思う。25Gbitはまだ来てないかもね。

AIデータセンターの使用量の5%くらいは光ファイバーだよ。