ロードマップでわかる！当世プロセッサー事情 第888回

NVIDIA Rubin Ultra開発中止の真相！ 180層CoWoS-Lの歪曲トラブルと、急造ラックNVL576に透ける苦肉の策

NVL576のプロトタイプ

既存のNVSwitch 5で8ラックをつなぐ？
Radix削減と光メディコンによる暫定ネットワーク構造

　さて、このNVL576構築にあたり、NVSwitchを新たに起こしたのか？　というと、3ヵ月程度でいきなり新しいNVSwitchを構築するのはさすに無理がある。したがって、既存のNVSwitch 5をそのまま利用し、L2はメディアコンバーターを介して電気信号を光に変換して通信という形を考えるのが妥当だろう。だとするとNVSwitch 5が1個あたり72ポートという制約が付きまとうことになる。

　下図がNVL72の構成図で、おのおののGPUはRadix-18(18個のスイッチと同時に接続する)での構成になっているが、これを維持するとNVLink L2が構築できない。

NVL72の構成図

　なので可能性としては下図のように、Radixを減らす(図はRadix-9を前提にしている)ことで各ラックに搭載されたNVSwitchのポートを半分空けて、それを利用してL2 NVLinkを構築する構図が考えられる。

L2 NVLinkを構築する構図

　ここで一番上にあるL2 NVSwitch Tray-1～16というのは、このページ冒頭の写真の右から2つめのラックに収まっている部分である。

　Radix-9構成が正しいかは不明(上図はあくまで一案である)だが、この構成はGPU番号を奇数と偶数に分けた時に以下で接続できる。

• 同一ノード内の隣接するGPU、及び同一ラック内の奇数GPU同士ないし偶数GPU同士の接続：1 Hop
• 同一ラック内の奇数GPUと偶数GPU同士、及び異なるラック同士の奇数GPU同士ないし偶数GPU同士の接続：2 Hop
• 異なるラック同士の奇数GPUと偶数GPU同士の接続：3 Hop

　これだけの規模のもので最悪3Hop、平均2Hop程度で収まっているのだから、(最良ではないにせよ)許容範囲ではないかと思われる。

　ちなみにNVIDIAは今年中にNVSwitch 6およびNVSwitch 7をリリース予定であり、こちらはさらにSwitchのポート数が増えているかもしれない。例えば136ポートあれば、72ポートをGPUの接続に利用し、残りの64ポートをL2 NVSwitchとの接続に回せるので、もう少しHop数の減少が期待できる。ただこのページ冒頭の写真のものはGB200を利用したプロトタイプなので、こちらはNVSwitch 5ベースなのは間違いないだろう。

　なおL2 NVLinkが光回線なのは、もう物理的に光でないと届かない(ラック8本分の横幅を通す上、一旦ラックの上に引っ張ってから下におろす関係で、配線長は10mを超えると思われる)からで、ただ現時点ではNVSwitchにCPOが入って光回線に対応するのはNVSwitch 8の世代になる(2028年)。

　あとNVSwitchのI/Fそのものが、所謂Pluggable Transceiver Moduleに対応した構造になっていない。したがって、CPOに対応するまでの間はメディアコンバーター経由にならざるを得ないだろう。