ロードマップでわかる！当世プロセッサー事情 第290回

スーパーコンピューターの系譜　Blue Pacificより3.4倍高速なASCI White

6xxバスを使いつつスイッチを挟むことで
大規模SMPを実現

　さて、次はこのPOWER3でどうSMP(Symmetric MultiProcessing：対称型マルチプロセッシング)を構成するかだ。POWER3がPowerPC 620から引き継いだものの1つに、通称6xxバスと呼ばれるシステムバスがある。これはPowerPC系で利用される標準的なシステムバスで、マルチプロセッサーに対応したプロトコルをサポートしている。

　この6xxバスは、分類としてはP6バスやP4バスなどと同じ共有型バスになっており、小規模な構成であれば下の画像のように、物理的に共有バスとして構成することも可能だった。

6xxバスの構成。Pentium II Xeonの2P構成がちょうどこんな構造である。IBMのRS/6000 SP Node Hardware Developmentが1999年2月にリリースした“SP POWER3 SMP Node System Architecture”というマニュアルより抜粋

　ただこの方式では、プロセッサー数が増えるとバスがボトルネックになり、どんどん性能が落ちる。そこで科学技術計算用には最大16プロセッサーまで対応可能な、以下の構成が用意された。

NCAとNCDはノードコントローラーで、NCAがアドレス、NCDがデータを管理する。ASXはアドレススイッチ、Crossbowはメモリーコントローラー、Arrrowがクロスバスイッチ、SABERはI/Oサブシステム用のコントローラーとなっている。IBM International Technical Support Organizationが1999年12月にリリースした“Scientific Applications in RS/6000 SP Environments”というマニュアルより抜粋

　CPU2つを(内部的に)1つのノードとみなし、8つのノードをクロスバースイッチでメモリーやI/Oとつなげるというもので、トポロジー的にはIntel 7300、もしくは超黒歴史化している^(*1)Intel Profusionチップセットに近いが、バスプロトコルそのものは6xxバスを使いつつ、スイッチを挟むことで大規模SMPを可能にしているわけだ。
^{*1：そういえば黒歴史記事で取り上げるの忘れていた。}

IBMの科学技術計算用システムの
ハイエンド構成といえるASCI White

　さて、話をASCI Whiteに移そう。ASCI Whiteでは375MHz駆動のPOWER3を搭載したNightHawk 2というノードが利用された。NightHawk 2というのはIBM社内の愛称のようで、正式名称はRS/6000 SP Model 550 High Nodeとなる。High以外にWideやThinといったものもあり、これはラック内のケースの大きさである。具体的には以下のようになっている。

RS/6000 SP Model 550の種類
High	19インチラック幅、高さ6U
Wide	19インチラック幅、高さ3U
Thin	19インチラック幅の半分、高さ3U

　左下の画像がHigh Nodeの内部構造、右下の画像が実際の16PのHigh Nodeのパッケージである。この16PのHigh Nodeが1つのSMPノードとなり、後はこれを512ノード、ASCI Blue Pacific同様にTB3MXを使って接続する形でASCI Whiteは構成された。

High Nodeの内部構造。Switched memory subsystemの内部は1つ前の画像の“Active Backplane Planar”そのものである。IBM International Technical Support Organizationが2001年9月にリリースした“RS/6000 SP and Clustered IBM @pSeries Systems Handbook”というマニュアルより抜粋

16PのHigh Nodeパッケージ。上半分がプロセッサー、下半分がI/Oで、その背面にBackplaneがあり、一番奥が冷却ファンという構造だ。出典は左の画像と同じ

　そのTB3MXの話も簡単に説明しておこう。IBMはクラスター接続に利用するネットワークをSP Switchと呼んでいた。SP Switchの基本単位は下の画像のような16ノードのSwitch Boardである。4ノード分のスイッチ8つが相互接続する形だ。

Switch Boardは、Xeon E7の8way構成を想像させる構造になっている。この範囲だと、最大2hopでノード間は通信できる。IBM International Technical Support Organizationが1999年4月にリリースした“Understanding and Using the SP Switch”というマニュアルより抜粋

　リンクが32本出ているから32ノードにならないのか？　というと、残念ながら右半分はSwitch Board同士の接続に利用されるので、例えば32ノードでは下図のようになる。

32ノードの構成。こちらだと最悪3hopになる

　ではもっと大規模な場合は？　というと、48ノードまではhop数を変えずに構成できるが、これを超えた場合は中間ノードを挟むことになる。このISBを16個まで増やすと、NSBを32個まで接続できることになり、これで512ノードに対応できる形だ。

48ノードまではhop数を変えずに構成できる。別のSwitch Boardに接続する帯域は32ノードに比べて半減するが、Hop数そのものは変わらない

48ノードを超えた場合は中間ノードを挟む。なお、NSBはNode Switch Board、ISBはIntermediate Switch Boardの略である

　ちなみに各ノード側は、下の画像で左下にある“SPS MX2 Adapter”というI/FがこのSwitch Boardに接続される部分だ。接続そのものは双方向で150MB/秒(つまり合計帯域は300MB/秒)となっている。

前述のHigh Nodeの内部構造。各ノード側は、左下にある“SPS MX2 Adapter”がSwitch Boardに接続される

　上の画像にも少し出ているが、このSPS MX2 AdapterはRIO-MXというバスで接続されており、64bit/66MHzのShared Busなのでピーク帯域は533MB/秒ほどになる。ただShared Busの常として送受信が切り替わる場合のオーバーヘッドが大きいので、実効帯域は300MB/秒強であり、SPS MX2の300MB/秒とほぼマッチする形だ。

　以上のことから、実はASCI WhiteはIBMが標準的にリリースしていた科学技術計算用システムのハイエンド構成ということもできる。

　もっとも、IBMのRS/6000 SPは本来8P構成が最大のもので、16Pは科学技術計算用モデルという扱いに近いのだが、これは元々ASCI Whiteがメインターゲットで、ASCI Whiteの完成後にそのサブセットを他にも販売したという方が実情に近いのかもしれない。現にインドのバンガロール大の計算センターでは、まだ16P構成のRS6000 SPが稼働中のようだ(関連リンク)。

（→次ページヘ続く　「ASCI WhiteはBlue Pacificより3.4倍も高速！」）