ロードマップでわかる！当世プロセッサー事情 第855回

配線太さがジュース缶並み!? 800V DC供給で電力損失7～10％削減を可能にする次世代データセンターラック技術

電線の本数が限界に近い
RubinベースのNVL144では1万368本になる見込み

　前回のNVL72のNVLink接続図でも説明したが、たかだか72台のGPU同士の接続に必要なNVLinkの本数は1296本。前回は説明しなかったが、NVLinkは当然双方向であり、かつ電気信号ベースということで1リンクの配線本数は、DifferentialかつBi-Directionalなので4本であり、電線本数は4倍の5184本に達する。

72台のGPU同士の接続に必要なNVLinkの本数は1296本

　実際には複数リンク分の配線をまとめているはずなので、外から見える電線の本数はもっと少ないだろう。だから、表からみると整然とシャーシが並んでいるのに、裏は配線お化けになっているわけである。

裏は配線だらけ

　72台のGPU同士でこれなわけだが、昨今のクラウド推論の動向では、さらに大規模な構成が要求されつつある。やや前の話になるが、2023年5月にNVIDIAがDGX GH200 AI SuperComputerを発表した。構成は下の画像のように、GH200を16枚装着したラックを16本並べた構成である。

DGX GH200 AI SuperComputerは、GH200を16枚装着したラックが16本並ぶ

　このケースでは、1つのラックの中のGH200同士をNVLinkで相互接続し、さらに16本のラックの間はInfiniBandないしイーサネットで接続する形態となる。これをもう少し一般化したのが下の画像だ。

Scale-upは密結合のネットワークで、NVIDIAならNVLinkを、AMDその他は現在UALinkの採用を進めている最中である。これは通常ラック内ないし隣接ラック程度に留められる。より広範囲な相互接続はScale-outになる。Front Sideは管理などのために使われる

　別の例で示せば、GoogleのIronwoodの場合、64個のIronwood同士は4×4×4の密結合のキューブで相互接続され、これがScale-upに相当する。

　キューブ同士もやはり3次元のトーラス形状での相互接続になるのだが、論理的にはトーラスと言いつつ物理的にはPalomar OCSを使って接続されるという話は連載729回で説明した。しいて言えばこのPalomar OCSを使う分がScale-outに相当することになる。

　最近は大規模モデルを稼働させる場合にもいろいろと工夫が凝らされている。特にDeepSeekで話題になったのがMoE(Mixture of Experts)という技法で、計算量を減らし効率的に処理する方法として注目されつつあるが、MoEを使う場合には以下の使い方になることが多く、ネットワークもこれに対応する必要がある。

• MoEでは1つのScale-up領域で全部のリソースを使うことはないので、複数のモデルなり推論なりを1つのScale-up領域で走らせられる。
• その一方で、複数のScale-outにまたがる形で処理する

　MoEですべて解決するわけではなく、依然としてScale-upの領域をフルに使いつくすようなモデルも少なくないので、より大規模なScale-upの能力も引き続き求められていく。

　例えば下の画像はNVL72の模式図であるのだが、NVIDIAは次世代でRubinベースのNVL144の提供を予定しており、配線もおそろしい(1万368本のNVLinkによる相互接続になる)うえ、スイッチだけで12本ものシャーシを占有することになり、Scale-upの限界が近いとしている。

NVL72の模式図。これはAMDのDarrin Vallis氏(Datacenter Solution Architect)の"Scaling fabric technologies"という講演のスライドなので、当然NVIDIAとNVL72といった名前は出てこない

あくまでもVallis氏が想定するNVL144の構成である。といってもある程度公開情報に基づくものなので、そう間違ってはいないだろう

　ちなみに解決案の例として提示されたのがL1.5という、スイッチ同士の相互接続をともなうアイディアである。ではNVIDIAは次世代のRubin Ultraでどうするつもりなのかを次回説明したい。

GPU同士を全部1 Hopで接続するアイディアを捨て、36 GPUを一つの小さなドメインとして、ドメイン同士をスイッチで相互接続する。これなら1 Hopの場合と2 Hopの場合が混ざるので、GPU同士は平均1.75Hopほどで接続できる

トポロジーとしては上の画像と一緒だが、物理的な配線長をより短くできる(≒消費電力を減らせる)メリットはある。しかし、ラックを十字型に配して最短経路で配線しようとする作業が困難極まる。最悪配線が終わった後、配線している作業員が閉じ込められて即身仏化するのが問題な気がする。メンテナンスも大変そうだ