ロードマップでわかる！当世プロセッサー事情 第292回

スーパーコンピューターの系譜　ASCI Redの後継Red Storm

CRAY独自のインターコネクトを搭載する
Red Stormの内部構造

　では、もう少し中身を細かく見ていこう。Compute Bladeは4つ、Service・I/O Bladeは2つのOpteronを基板に搭載しており、それぞれ2ch/4DIMMを利用できる。

　I/O BladeはOpteronは2つで、その代わりにAMD-8131 PCI-Xブリッジ経由でPCI-Xスロットが搭載される形だ。

　なお、これ以降の画像はCRAYのRoberto Ansaloni氏が2005年3月のCSCS workshopで発表した“Cray XT3 Architecture”というプレゼン資料からの抜粋である。

Red StormのCompute Blade。DIMMスロットとCPUを挟んで反対側に1枚装着されているのはVRM。稼働率向上のため、VRMもカード形状にして、簡単に交換できるようになっている

Red StormのService・I/O Blade。資料を見る限り、AMD-8131も直接HyperTransport Link経由で直接SeaStarの下にぶら下がっているらしい

　これにつながっているのが、SeaStarと呼ばれるCRAY独自のネットワーク・インターコネクトで、Opteron(やAMD-8131)とはハイパートランスポートで接続され、そこからSeaStar同士を7.6GB/秒のリンクで接続する形だ。

Red Stormの転送速度。HyperTrasnport LinkとSeaStar Linkの処理能力を比較すると3倍くらい違うが、これはもっぱらOpteron側の性能に起因してHyperTransportが遅いことと、SeaStarは自ノード以外のデータ転送も必要なので、このくらいの性能差があったほうがむしろバランスとしては手頃なのかもしれない

　そのSeaStarの内部構造が下の画像だ。PowerPC 440コアをベースとした一種のSoC(System on a chip)となっている。Red Stormで新規に開発されたチップは、このSeaStarが唯一のものである。

SeaStarの内部構造。SeaStarそのものはRed Stormの開発にともなって新規開発されたチップだが、構造そのものはCray T3Dで利用されたネットワークルーターに近い

　本来この世代のOpteronは8Pまでの接続をハイパートランスポート・リンクで可能としている。それにもかかわらず、実際には1枚のボードに搭載された2つないし4つのOpteronはSeaStar経由でつながっており、プロセッサー同士をハイパートランスポート・リンクで接続していない構造である。

　この理由は明確には述べられていないが、Opteronでハイパートランスポート・リンクを利用した場合、自動的にSMPの構成となる。つまり双方のメモリーは自動的に共有され、メモリー空間も統合される。したがって個別のプロセッサーを別々のOSで動かすことは原理的にできない。

　実際にはRed Stormの各プロセッサーには、Catamountと呼ばれる軽量カーネルOSが搭載されて稼動したが、これはASCI Redで利用されたCougarの改良型であり、このCatamountがこの時点ではSMPに対応していなかったのが理由ではないかと思われる。

また、SMP構成にしないことでメモリーアクセスのレイテンシー削減にもなっており、これが性能改善につながっているという説明もなされている。

これは当初のRed Stormの構成ではなく、2.4GHzにアップグレードしたプロセッサー場合の結果だが、1P構成にする関係でメモリー調停が不要になり、これが低レイテンシーにつながっているという趣旨に影響はないだろう

1万個のプロセッサーを
140台のキャビネットに並べる

　キャビネットには前述のCompute BladeないしはService・I/O Bladeのモジュールが24個収められる形になる。つまり全部Compute Bladeにすればキャビネットあたり96プロセッサーという計算だ。

　したがって1万プロセッサーにするには、このキャビネットを100あまり並べれば済む計算だが、実際にはI/O BladeやService Bladeもそれなりに必要とされるため、最終的には140キャビネット構成となった。

　ちなみに、もう一度ネットワークの構成に戻ると、例えば16キャビネットの3D Meshでは下の画像のようになるとされる。Y軸はキャビネット内部、X軸はキャビネット間を横に、Z軸はキャビネット間を奥行き方向につなぐ形となる。

16キャビネットの3D Mesh。赤はボード上のプロセッサー同士の接続も入るので3×4＝12という計算になる

　図に出てくる箱はシャーシ(Bladeを8枚入れた筐体)で、下の画像がこのシャーシを3つ、縦に積み重ねているものだ。

キャビネットの構成。まだこの当時は空冷であり、下から冷気を吸い込んで上に吹き上げる設計になっている

→次のページヘ続く　（5倍もの性能向上を成し遂げる）