ロードマップでわかる！当世プロセッサー事情 第299回

スーパーコンピューターの系譜　抜群のコスパで売れに売れたBlue Gene/L

並列演算のための2つのFPUと
1GBのDDR SDRAMで1枚のカードを構成

　次がFPUである。Blue Gene/LではFPUを2つ搭載しているが、これはQCDOCのFPUが2つ並んでいるというよりは、QCDOCのFPUの幅を2倍に増やした形だ。

　内部はプライマリーとセカンダリーの2系統に分かれているが、両方のFPUで同一の命令を実行する。言ってみればFPUをSIMD風に拡張した設計である。

FPUの構造。レジスターファイルそのものはPrimaryとSecondaryで分離しているが、各々の演算ユニットは両方のレジスターファイルからデータを取れるようになっている

　ただ多くのSIMDが、例えば16Bytes幅なら単精度演算×4もしくは倍精度演算×2を同時に実行できるのに対し、Double-hummer FPUは単精度でも倍精度でも1サイクルあたり2つの演算命令しか実行できないのが大きな違いだ。

　演算命令の中にはMAC演算(乗算＋加算)も含まれており、これを実行する場合は1サイクルで4演算なので、700MHzならば2.8GFLOPSとなる。ちなみにこのDouble-hummer FPUそのものは800MHzでの動作をターゲットに設計されたそうである。

FPU部のフロアプラン。タイミング調整のため、一部はASCIゲートを使わずに手配線で最適化を施したとのこと

　このBlue Gene/Lであるが、1枚のカードにチップ2つとDDR SDRAMがまとめて搭載される。メモリーはノード、つまりBlue Gene/Lのチップ1つあたり512MBとされる。

Blue GeneのCompute Card。DDR SDRAMがDIMMスロットを使わず直接基板に実装されているのは、スロットを使うことによる機械的な故障が発生することを避けるためだそうだ。柔軟性はなくなるが、これはこれで1つの考え方である

　カード1枚あたりの消費電力は15Wとされるが、Blue Gene/Lのチップそのものが1個あたり5～6W程度(コアあたり1Wで合計2W、それ以外に4MBのeDRAMや、後述するI/Oリンク用にそれなりに必要となる)、DDR SDRAMが1GB分でやはり3～4Wといったところだ。

　このカードをCompute Cardと称している(他にI/O専用のI/O Cardも存在する)。このCompute Cardを16枚装着したのがNode Cardである。

Compute Cardを16枚装着したNode Card。16枚のCompute Cardのほかに最大2枚のI/O Cardを装着可能だが、この写真では装着されていないようだ

　キャビネットには、このNode Cardを16枚装着する。この段階でノード数は1024(コア数は2048)、メモリーは512GBに達する。演算性能はこの1キャビネットで5.6TFLOPSに達するわけで、理論性能だけで言えばASCI Blue Pacificの1.5倍の性能がわずか1キャビネットに収まってしまう格好だ。

　もっとも、1つのCompute Cardが15Wに収まるといっても、これを1000枚も集めたら15KWになるわけで、冷却方法には工夫が必要である。チップ1個あたりの発熱は5～6Wなので、2つ上の画像に示すようにパッシブのヒートシンクだけで十分まかなえるが、これに対してそれなりに冷却風をあてる必要がある。

　そこでキャビネット側面には60個の冷却ファンを設置し、さらにシャーシを斜めにすることで冷却効果を高める工夫がなされた。

Blue Gene/Lのキャビネット。この写真では、右半分側の面に冷却ファンが被さる形になる

冷却ファンのアレイ。3個単位で簡単に交換できる仕組みだが、個人的にはもうすこし大径ファンを使っても良かったような気がする

　下の画像には説明が必要だろう。上の画像で示したキャビネットは、下の画像の青い部分に収まる。その左右に、斜めになった給排気エリアがくっつく形だ。

Blue Gene/Lのシャーシ。これもモックアップっぽいもので、実際はこのキャビネットの排気部と、左のキャビネットの吸気部が重なり合うように配されるので、キャビネット間の間隔はもっと詰まっている

　この場合、キャビネットには右から吸気(底面から冷気を供給)し、キャビネット内で熱せられたエアーは左側に流れ、そのまま上面に出ていく格好となる。

　この斜めの板の角度は10.1度ほどになるが、シミュレーションによれば角度が0、つまり斜め板が無い状態でのキャビネット内温度は最低でも38.2℃(一番高い場所では50℃以上)だったのが、斜め板を入れることで最低27.0度まで下がるようになったとしている。

上が従来型の放熱機構で、下がBlue Gene/Lのもの

　いわば対流をうまく利用して冷却を行なっているわけだが、この結果としてBlue Gene/Lの筐体は外から見ると斜めになっている。

Blue Gene/Lの外観。これはデザインコンセプトのCGで、実際に設置された写真ではない

→次のページヘ続く　（性能的にも商業的にも大成功）