CRAY独自のインターコネクトを搭載する
Red Stormの内部構造
では、もう少し中身を細かく見ていこう。Compute Bladeは4つ、Service・I/O Bladeは2つのOpteronを基板に搭載しており、それぞれ2ch/4DIMMを利用できる。
I/O BladeはOpteronは2つで、その代わりにAMD-8131 PCI-Xブリッジ経由でPCI-Xスロットが搭載される形だ。
なお、これ以降の画像はCRAYのRoberto Ansaloni氏が2005年3月のCSCS workshopで発表した“Cray XT3 Architecture”というプレゼン資料からの抜粋である。
これにつながっているのが、SeaStarと呼ばれるCRAY独自のネットワーク・インターコネクトで、Opteron(やAMD-8131)とはハイパートランスポートで接続され、そこからSeaStar同士を7.6GB/秒のリンクで接続する形だ。
そのSeaStarの内部構造が下の画像だ。PowerPC 440コアをベースとした一種のSoC(System on a chip)となっている。Red Stormで新規に開発されたチップは、このSeaStarが唯一のものである。
本来この世代のOpteronは8Pまでの接続をハイパートランスポート・リンクで可能としている。それにもかかわらず、実際には1枚のボードに搭載された2つないし4つのOpteronはSeaStar経由でつながっており、プロセッサー同士をハイパートランスポート・リンクで接続していない構造である。
この理由は明確には述べられていないが、Opteronでハイパートランスポート・リンクを利用した場合、自動的にSMPの構成となる。つまり双方のメモリーは自動的に共有され、メモリー空間も統合される。したがって個別のプロセッサーを別々のOSで動かすことは原理的にできない。
実際にはRed Stormの各プロセッサーには、Catamountと呼ばれる軽量カーネルOSが搭載されて稼動したが、これはASCI Redで利用されたCougarの改良型であり、このCatamountがこの時点ではSMPに対応していなかったのが理由ではないかと思われる。
また、SMP構成にしないことでメモリーアクセスのレイテンシー削減にもなっており、これが性能改善につながっているという説明もなされている。
1万個のプロセッサーを
140台のキャビネットに並べる
キャビネットには前述のCompute BladeないしはService・I/O Bladeのモジュールが24個収められる形になる。つまり全部Compute Bladeにすればキャビネットあたり96プロセッサーという計算だ。
したがって1万プロセッサーにするには、このキャビネットを100あまり並べれば済む計算だが、実際にはI/O BladeやService Bladeもそれなりに必要とされるため、最終的には140キャビネット構成となった。
ちなみに、もう一度ネットワークの構成に戻ると、例えば16キャビネットの3D Meshでは下の画像のようになるとされる。Y軸はキャビネット内部、X軸はキャビネット間を横に、Z軸はキャビネット間を奥行き方向につなぐ形となる。
図に出てくる箱はシャーシ(Bladeを8枚入れた筐体)で、下の画像がこのシャーシを3つ、縦に積み重ねているものだ。
→次のページヘ続く (5倍もの性能向上を成し遂げる)
この連載の記事
-
第775回
PC
安定した転送速度を確保できたSCSI 消え去ったI/F史 -
第774回
PC
日本の半導体メーカーが開発協力に名乗りを上げた次世代Esperanto ET-SoC AIプロセッサーの昨今 -
第773回
PC
Sound Blasterが普及に大きく貢献したGame Port 消え去ったI/F史 -
第772回
PC
スーパーコンピューターの系譜 本格稼働で大きく性能を伸ばしたAuroraだが世界一には届かなかった -
第771回
PC
277もの特許を使用して標準化した高速シリアルバスIEEE 1394 消え去ったI/F史 -
第770回
PC
キーボードとマウスをつなぐDINおよびPS/2コネクター 消え去ったI/F史 -
第769回
PC
HDDのコントローラーとI/Fを一体化して爆発的に普及したIDE 消え去ったI/F史 -
第768回
PC
AIアクセラレーター「Gaudi 3」の性能は前世代の2~4倍 インテル CPUロードマップ -
第767回
PC
Lunar LakeはWindows 12の要件である40TOPSを超えるNPU性能 インテル CPUロードマップ -
第766回
デジタル
Instinct MI300のI/OダイはXCDとCCDのどちらにも搭載できる驚きの構造 AMD GPUロードマップ -
第765回
PC
GB200 Grace Blackwell SuperchipのTDPは1200W NVIDIA GPUロードマップ - この連載の一覧へ