ロードマップでわかる！当世プロセッサー事情 第854回

巨大ラジエーターで熱管理！ NVIDIA GB200/300搭載NVL72ラックがもたらす次世代AIインフラの全貌

NVIDIAのセッションで語られた
GB200/GB300を使ったNVL72ラック

　前提になるのは全体の構成である。GB200の構成は連載765回でも説明しているが、GB200×2とGraceが搭載されたGB200 Grace Blackwell Superchipが2枚、1つのCompute Trayに搭載される。

水色の部分がスーパーチップであり、その手前には拡張スロット(ネットワークコントローラー、その他)が容易される。背面は給排水のバンジーが両端にあり、あとはNVLinkのコネクターがそのまま出る格好だ

　ちなみにこのスライドにOCP(Open Compute Project)のロゴがあるのは、このCompute Trayの物理形状がOCPで定める"MGX Accelerated Computing Rack and Trays Specification"という仕様に準拠しているためである。というより、MGXの仕様そのものはNVIDIAが策定し、これをOCPに寄贈した形で標準化されている。

　そのCompute Trayの上で2つのスーパーチップがどう接続されているのか、という構成図が下の画像だ。GraceからはNVLink C2C(Core 2 Core)が2本出て、これでB200と接続している。

BlackwellにはPCIe 5.0 x16(図中のx16 EP)も搭載されているが、これはx1 LinkでGraceと接続されているだけである。実際の処理はNVLink C2C経由で行なわれ、PCI ExpressデバイスとしてOS側で管理するためにx1 Linkをつないでいるだけ、という感じだ

　また1つのCompute Trayに載る2つGrace同士は、Clinkと呼ばれる独自リンク×6で、150GB/秒程度の速度で接続されているのがわかる。一方で外部接続用のNVLinkは一切トレイ上では接続されず、全部外に出ている形だ。

　ではラックの内部でこのCompute Tray同士がどう接続されているか、というスライドがなかったので筆者が作成した。

Compute Tray同士の接続図

　NVSwitchは連載765回で示したように72ポートのNVLinkを接続できる。1つのNVLink TrayにはNVLink Switchが2つ搭載されており、全部で9本存在するので合計18個のNVLink Switchがある。

　それぞれのB200には18本のNVLinkが搭載されているので、それぞれのSwitchに1:1の形で接続するわけだ。図にすると簡単そうに見えるが、接続されるNVLinkの本数は72×18で1296本に達する。NVSwitch TrayはCompute Trayの間に挟まるように配されているので、結果このNVLinkの配線がお化けのようになっているわけだ。

右のNVLink Spineと書かれているのが、個々のB200とNVSwitchをつなぐNVLinkの配線の束である

　ちなみにこの配線の束は、このページ最初の画像で言えば右側の後端、"Interconnect Cable Cartridge Connector Zones"に接続されている。

　Compute TrayやNVLink Switch Trayその他を収めるラックの構造がこちら。

本ページ最初の画像にある右側、後端の中心に"35mm IT Gear Connector"と書かれた突き出し部があるが、ここがPower Busbarに差し込まれ、ここから電源供給が行なわれる。Busbarの左右にある赤と紫のBlind Mate Manifoldsは給排水を担う

　基本はスタンダードな19インチラックとそう違いはないのだが、後端にケーブルを収める領域が用意されているのと、電源供給用のバー(Busbar)がシャーシの中央に通っていることが大きな違いというべきだろうか。BusbarはOCPで定めているORv3という仕様と同じである。

　ちなみにBusbarの供給電圧は48V(40～59.5Vをサポートするので、普通は54Vくらいを供給し、それを48V化して使う形になる)なので、1400Aだと60～70kW分にしかならないわけで計算が合わないのだが、これに関しては回答が見つからなかった。

　さて、NVIDIAからGB200/GB300 NVL72として提供されるパッケージはここまでである。例えば複数台のNVL72のラックを並べてどう相互接続するか、NVL72の冷却液をどうするか、といった話はもちろん頼めばカスタマイズされたソリューションが出てくるだろうが、基本は顧客任せである。

　このあたりを狙って、例えばSuperMicroは液冷ソリューションや管理用システムまで含めたパッケージを用意しており、こうしたサードパーティのソリューションを導入するのも1つの案である。

　Hot ChipsではMetaがこのNVL72を導入したケーススタディを発表したので、次にこちらを紹介したい。