スーパーコンピューターの系譜　Linuxクラスター化で増強したASCI

2016年03月14日 11時00分更新

文● 大原雄介（http://www.yusuke-ohara.com/）　編集●北村／ASCII.jp

Linuxベースのクラスターで構築された
最初のシステム「MCR」

　下の画像がMCRの概要である。計算ノードはMPIを使って相互通信する仕組みで、それぞれローカルストレージは持つが、本格的なストレージはNFS(Network File System)の形で外部に置かれる。またI/Oもネットワーク経由の接続となっている。

NFSというあたりがいかにも時代を感じさせる

画像の出典は、“M&IC Capability Cluster (MCR)”

　実際の計算サーバーであるが、ハードウェアはPrestonia世代のXeon 2.4GHzをIntel E7500チップセットと組み合わせたものが、1116プロセッサー並ぶ構造が最終的に採用されたとのこと。

計算ノードはQsNet Elan3で相互接続され、これとI/Oやストレージはゲートウェイ経由でギガビットイーサネットで接続される構造だ

画像の出典は、“M&IC Capability Cluster (MCR)”

　これに先立ちFoster Xeon＋i860＋Direct RDRAMや、Prestonia＋ServerWorks GrandChampion LEの構成も試してみたが、FSB経由のメモリーアクセスがボトルネックになることが確認された。400MHz FSBではメモリーアクセスが遅すぎるので、多少マシな533MHz FSBの構成を選んだと思われる。

　Pentium 4ベースという選択は、浮動小数点演算性能を重視したとの話。当時はまだOpteronが出る前だったため、妥当な選択と思われる。

　この計算ノードはQsNetのElan 3で相互接続される。QsNetはASCI Qでも利用されたインターコネクトであり、元をただすとMeiko ScientificのElan-Eliteという話は連載329回で説明したとおり。

QsNetのElan 3で相互接続された計算ノード。この図では転送速度が双方向で680MB/秒となっており、片方向の350MB/秒というのはカタログスペックなのかもしれない

画像の出典は、“M&IC Capability Cluster (MCR)”

　Elan 3は初代QsNet用のアダプターで、転送速度が片方向あたり350MB/秒、MPIを使った場合のレイテンシーが5ナノ秒とされていた。このElan 3アダプターと対になるElite 3を96ポート集約したスイッチを12個並べ、さらに上位にスイッチを4つ並べたFat Tree構造を取った。

　このMCRは2003年3月に7.634TFLOPSを実現し、2003年6月のTOP500では3位につける好成績をたたき出す。ちなみに1位は地球シミュレータ、2位がASCI Qなので、これはかなり良い結果であった。

　ただ、MCRは核実験シミュレーション「以外」をターゲットとしたシステムだったため、核実験シミュレーション向けのCapacity Computing用のシステムが別途必要、という判断がなされた。

　このため、2002年にローレンス・リバモア国立研究所はIBMと契約、ASC Purpleの一部(詳細は不明だが、スイッチやシャーシ類と思われる)を流用しつつ、計算ノードの中身をDual Pentium 4 Xeonに置き換えたALC(ASCI Linux Cluster)を2003年から稼動させる。

ALCの概要。もともとASC Purple自身がPower 5を搭載したSystem P5 570を集約する構成だったため、これをXeonベースのものに置き換えただけであろう

画像の出典は、“LLNL ASCI Resources”

　これとは別に、ローレンス・リバモア国立研究所はもう1つ、Thunderと呼ばれる新しいLinuxクラスターを2004年から稼動させ始めた。こちらはQuad Core Itanium 2 Serverを1024台集積した構成だ。こちらを手がけたのはCalifornia Digitalで、当時は社員数55人の小さな規模だったらしい。

　内部構成はQuad Core(1.4GHz)のItanium 2(Tiger 4)を1002ノード、QsNet II(Elan 4/Elite 4を利用)で接続したものである。こちらは2004年6月のTOP500では19.94TFLOPSを叩き出し、ASCI Qを抜いて2番手(トップは相変わらず地球シミュレータ)に躍り出る。