ロードマップでわかる！当世プロセッサー事情 第306回

スーパーコンピューターの系譜　多くの組織で現役のBlueGene/Q

性能/消費電力比はBlue Gene/Pの4.4倍
チップの絶対性能は15倍

　話を戻すが、元になったPowerENの場合、2.3GHz駆動/0.97Vで消費電力65W、動作周波数を2GHzにして電圧を0.75Vに下げると消費電力が55Wになると論文に記されている。

　A2コア以外の構成が違うため単純に比較は難しいが、Blue Gene/Qもまた0.8Vに動作電圧を落とし、動作周波数を1.6GHzに抑えて消費電力を55Wにしている。

　これはBlue Gene/Pの16Wに比べると大幅に増えている計算だが、チップ単体の性能/消費電力比を見ると以下のようになり、Blue Gene/Pと比較して4.4倍近い改善がなされているのがわかる。

Blue Gene/P : 13.6GFLOPS/16W ＝ 0.85GFLOPS/W
Blue Gene/Q : 204.8GFLOPS/55W ≒ 3.72GFLOPS/W

　またチップあたりの絶対性能は15倍になっているため、絶対性能の観点でも性能/消費電力比の観点でも大幅に改善がなされている。

　また、細かいところでは2次キャッシュにMulti-Versionという機能が追加されている。これは一種のトランザクションメモリーであるが、インテルのHSX命令とはやや異なる方式である。

　前述のとおりBlue Gene/Qは4スレッドのSMT構成なので、同一のメモリーアドレスに対して複数のスレッドがデータを上書きするケースが考えられる。

　Multi-Versionの場合、同一領域の2次キャッシュへの書き込みに対して、それぞれのデータを別々に保持しており、しかもデータの書き換えがあった場合にはスレッドの再実行を行なえる。

　これは、大量のデータを複数スレッドで分散して処理するような場合に、スレッド間の排他制御を簡単にできる。

　実際IBMは2012年のCool Chips XVで、通常の排他制御を使って64スレッドの同期を取るのに1万4000サイクル必要だったのが、Multi-versionキャッシュを使うことで、これを1000サイクルまで高速化できたと発表しており、地味ながら性能改善に一役買っている。

　ただし消費電力が増えているので、冷却の問題が当然出てくる。Blue Gene/Qは、これもおなじみプロセッサーカードの形で装着される。

Blue Gene/Qのコンピュートカード。相変わらずDIMMソケットは故障の要因になるということで、DDR3チップを基板に直接半田付けしてあるあたりのコンセプトに変化はない

　問題は冷却で、コンピュートノードは下の画像のように水冷となった。大雑把に計算すると、コンピュートカード1枚で25W程度(Blue Gene/Qチップ＋DDR3チップ×72)なので、これを32枚まとめたノードカード1つあたりの消費電力は800Wほどになる。この密度で800Wでは、さすがに空冷では無理がありすぎるため、水冷は妥当な選択であろう。

ノードカードに32枚のコンピュートカードが装着される。数そのものはBlue Gene/Pと同じ。ただしそれぞれのヒートシンクには冷却用のヒートパイプが配される

　一方I/Oノードの場合は、コンピュートカードは8枚だけが装着され、またI/Oカードの装着のために大きめの筐体が必要になる関係で、空冷で実装されている。

I/Oノードは空冷で実装されている。I/Oノードはコンピュートノードの倍の高さがあり、かつコンピュートカードの実装密度もそれほど高くないので、空冷で十分まかなえると判断したようだ

　プロセッサー間ネットワークに関しては、Blue Gene/L・Pで採用された3次元のトーラス構造から、Blue Gene/Pでは5次元トーラス構造に変更されている。

Blue Gene/Pのプロセッサー間ネットワーク。リンク速度そのものも2GB/secとBlue Gene/Pの1.4Gbpsから大幅に向上している

　この5次元トーラスだが、1つのミッドプレーンが4×4×4×4×2というトーラスで構成される形だ。ただこの話をするにはそもそもミッドプレーンの説明をしておかねばならない。

　下の画像がBlue Gene/Pの構成だが、コンピュートカードを32枚まとめて1つのノードカードを構成するところまでは先に説明した。このノードカードを16個まとめたのがミッドプレーンというシャーシで、1つのミッドプレーンは32×16＝512枚のコンピュートカードが装着されている。

Blue Gene/Pの構成。1つのミッドプレーンは32×16＝512枚のコンピュートカードが装着されている

　このミッドプレーンを1つの単位として、5次元トーラスを構成しているわけだ。ちなみに1つのラックには、最大で2つのミッドプレーンと8つのI/Oノードが搭載できることになっている。

Blue Gene/Pのラック。そもそも空冷を放棄した時点で、Blue Gene/Lで始まった斜めの給排気システムは意味がなく、実際I/Oノードもまっすぐ前面から吸気/背面に排気しているのだが、Blue Gene/Lのイメージを汲んでラックには斜めのストライプが入っている

　ところで、先に書いたとおり、Blue Gene/Pのプロセッサーコア(コンピュートカード)は1枚で204.8GFLOPSの性能を持つ。これは、1.6GHz×8FLOPS/サイクル×16コアという計算であるが、ということはこれを32枚集積したコンピュートノード1枚あたり6.55TFLOPS。ミッドプレーン1つで104.9TFLOPS、ラック1本では209.7TFLOPSという計算になる。

　つまりミッドプレーン1つで、ASCI Whiteのフルシステムと同等の性能というわけだ。Blue Gene/Qの場合、設計目標は20PFLOPSの実現で、このためにはラックが96本あれば済むという目算である。

（→次ページヘ続く　「TOP500の1位に輝く性能」）