CRAY独自のインターコネクトを搭載する
Red Stormの内部構造
では、もう少し中身を細かく見ていこう。Compute Bladeは4つ、Service・I/O Bladeは2つのOpteronを基板に搭載しており、それぞれ2ch/4DIMMを利用できる。
I/O BladeはOpteronは2つで、その代わりにAMD-8131 PCI-Xブリッジ経由でPCI-Xスロットが搭載される形だ。
なお、これ以降の画像はCRAYのRoberto Ansaloni氏が2005年3月のCSCS workshopで発表した“Cray XT3 Architecture”というプレゼン資料からの抜粋である。
これにつながっているのが、SeaStarと呼ばれるCRAY独自のネットワーク・インターコネクトで、Opteron(やAMD-8131)とはハイパートランスポートで接続され、そこからSeaStar同士を7.6GB/秒のリンクで接続する形だ。
そのSeaStarの内部構造が下の画像だ。PowerPC 440コアをベースとした一種のSoC(System on a chip)となっている。Red Stormで新規に開発されたチップは、このSeaStarが唯一のものである。
本来この世代のOpteronは8Pまでの接続をハイパートランスポート・リンクで可能としている。それにもかかわらず、実際には1枚のボードに搭載された2つないし4つのOpteronはSeaStar経由でつながっており、プロセッサー同士をハイパートランスポート・リンクで接続していない構造である。
この理由は明確には述べられていないが、Opteronでハイパートランスポート・リンクを利用した場合、自動的にSMPの構成となる。つまり双方のメモリーは自動的に共有され、メモリー空間も統合される。したがって個別のプロセッサーを別々のOSで動かすことは原理的にできない。
実際にはRed Stormの各プロセッサーには、Catamountと呼ばれる軽量カーネルOSが搭載されて稼動したが、これはASCI Redで利用されたCougarの改良型であり、このCatamountがこの時点ではSMPに対応していなかったのが理由ではないかと思われる。
また、SMP構成にしないことでメモリーアクセスのレイテンシー削減にもなっており、これが性能改善につながっているという説明もなされている。
1万個のプロセッサーを
140台のキャビネットに並べる
キャビネットには前述のCompute BladeないしはService・I/O Bladeのモジュールが24個収められる形になる。つまり全部Compute Bladeにすればキャビネットあたり96プロセッサーという計算だ。
したがって1万プロセッサーにするには、このキャビネットを100あまり並べれば済む計算だが、実際にはI/O BladeやService Bladeもそれなりに必要とされるため、最終的には140キャビネット構成となった。
ちなみに、もう一度ネットワークの構成に戻ると、例えば16キャビネットの3D Meshでは下の画像のようになるとされる。Y軸はキャビネット内部、X軸はキャビネット間を横に、Z軸はキャビネット間を奥行き方向につなぐ形となる。
図に出てくる箱はシャーシ(Bladeを8枚入れた筐体)で、下の画像がこのシャーシを3つ、縦に積み重ねているものだ。
→次のページヘ続く (5倍もの性能向上を成し遂げる)
この連載の記事
-
第769回
PC
HDDのコントローラーとI/Fを一体化して爆発的に普及したIDE 消え去ったI/F史 -
第768回
PC
AIアクセラレーター「Gaudi 3」の性能は前世代の2~4倍 インテル CPUロードマップ -
第767回
PC
Lunar LakeはWindows 12の要件である40TOPSを超えるNPU性能 インテル CPUロードマップ -
第766回
デジタル
Instinct MI300のI/OダイはXCDとCCDのどちらにも搭載できる驚きの構造 AMD GPUロードマップ -
第765回
PC
GB200 Grace Blackwell SuperchipのTDPは1200W NVIDIA GPUロードマップ -
第764回
PC
B100は1ダイあたりの性能がH100を下回るがAI性能はH100の5倍 NVIDIA GPUロードマップ -
第763回
PC
FDD/HDDをつなぐため急速に普及したSASI 消え去ったI/F史 -
第762回
PC
測定器やFDDなどどんな機器も接続できたGPIB 消え去ったI/F史 -
第761回
PC
Intel 14Aの量産は2年遅れの2028年? 半導体生産2位を目指すインテル インテル CPUロードマップ -
第760回
PC
14nmを再構築したIntel 12が2027年に登場すればおもしろいことになりそう インテル CPUロードマップ -
第759回
PC
プリンター接続で業界標準になったセントロニクスI/F 消え去ったI/F史 - この連載の一覧へ