ロードマップでわかる！当世プロセッサー事情 第347回

スーパーコンピューターの系譜　Linuxクラスター化で増強したASCI

Linuxベースのクラスターで構築された
最初のシステム「MCR」

　下の画像がMCRの概要である。計算ノードはMPIを使って相互通信する仕組みで、それぞれローカルストレージは持つが、本格的なストレージはNFS(Network File System)の形で外部に置かれる。またI/Oもネットワーク経由の接続となっている。

NFSというあたりがいかにも時代を感じさせる

画像の出典は、“M&IC Capability Cluster (MCR)”

　実際の計算サーバーであるが、ハードウェアはPrestonia世代のXeon 2.4GHzをIntel E7500チップセットと組み合わせたものが、1116プロセッサー並ぶ構造が最終的に採用されたとのこと。

計算ノードはQsNet Elan3で相互接続され、これとI/Oやストレージはゲートウェイ経由でギガビットイーサネットで接続される構造だ

画像の出典は、“M&IC Capability Cluster (MCR)”

　これに先立ちFoster Xeon＋i860＋Direct RDRAMや、Prestonia＋ServerWorks GrandChampion LEの構成も試してみたが、FSB経由のメモリーアクセスがボトルネックになることが確認された。400MHz FSBではメモリーアクセスが遅すぎるので、多少マシな533MHz FSBの構成を選んだと思われる。

　Pentium 4ベースという選択は、浮動小数点演算性能を重視したとの話。当時はまだOpteronが出る前だったため、妥当な選択と思われる。

　この計算ノードはQsNetのElan 3で相互接続される。QsNetはASCI Qでも利用されたインターコネクトであり、元をただすとMeiko ScientificのElan-Eliteという話は連載329回で説明したとおり。

QsNetのElan 3で相互接続された計算ノード。この図では転送速度が双方向で680MB/秒となっており、片方向の350MB/秒というのはカタログスペックなのかもしれない

画像の出典は、“M&IC Capability Cluster (MCR)”

　Elan 3は初代QsNet用のアダプターで、転送速度が片方向あたり350MB/秒、MPIを使った場合のレイテンシーが5ナノ秒とされていた。このElan 3アダプターと対になるElite 3を96ポート集約したスイッチを12個並べ、さらに上位にスイッチを4つ並べたFat Tree構造を取った。

　このMCRは2003年3月に7.634TFLOPSを実現し、2003年6月のTOP500では3位につける好成績をたたき出す。ちなみに1位は地球シミュレータ、2位がASCI Qなので、これはかなり良い結果であった。

　ただ、MCRは核実験シミュレーション「以外」をターゲットとしたシステムだったため、核実験シミュレーション向けのCapacity Computing用のシステムが別途必要、という判断がなされた。

　このため、2002年にローレンス・リバモア国立研究所はIBMと契約、ASC Purpleの一部(詳細は不明だが、スイッチやシャーシ類と思われる)を流用しつつ、計算ノードの中身をDual Pentium 4 Xeonに置き換えたALC(ASCI Linux Cluster)を2003年から稼動させる。

ALCの概要。もともとASC Purple自身がPower 5を搭載したSystem P5 570を集約する構成だったため、これをXeonベースのものに置き換えただけであろう

画像の出典は、“LLNL ASCI Resources”

　これとは別に、ローレンス・リバモア国立研究所はもう1つ、Thunderと呼ばれる新しいLinuxクラスターを2004年から稼動させ始めた。こちらはQuad Core Itanium 2 Serverを1024台集積した構成だ。こちらを手がけたのはCalifornia Digitalで、当時は社員数55人の小さな規模だったらしい。

　内部構成はQuad Core(1.4GHz)のItanium 2(Tiger 4)を1002ノード、QsNet II(Elan 4/Elite 4を利用)で接続したものである。こちらは2004年6月のTOP500では19.94TFLOPSを叩き出し、ASCI Qを抜いて2番手(トップは相変わらず地球シミュレータ)に躍り出る。

構成そのものが前述のMCRと同じなのは、ローレンス・リバモア国立研究所の意向があったものと思われる

画像の出典は、“Using Thunder”

　もうこうなるとASCI Qの存在意義が本当に問われかねない状況になっていたことがよくわかる。ASCIそのものの用途は、2003年の時点で引退していたのも無理ないところだ。