ロードマップでわかる！当世プロセッサー事情 第302回

スーパーコンピューターの系譜　Red Stormの後継機Cielo

メモリーがDDR3に切り替わった
CRAY TX6

　XT5の後継となるのが2009年に発表されたXT6である。XT5との相違点は、プロセッサーがSocket Fベースのものから、Socket C32/G34のOpteron 6000シリーズになったことである。

　これにともないメモリーもDDR3に切り替わっている。ただしインターコネクトは引き続きSeaStar2+であり、その意味ではブレード以外の構成要素は基本的にXT5と同じであるため、XT5からXT6へのアップグレードも容易であった。

CRAY XT6のカタログより。色々配置がかわっていることがわかる

　またXT5mの後継として、XT6mも同時に提供されている。ただ、XT6はCRAYが期待したほどには売れなかったようだ。2010年6月の場合、TOP500にランクインしているのは以下のとおりだ。

2010年6月のTOP500で、上位100位以内にあるXT6
順位	組織	システム名	実効性能
16位	エジンバラ大	HECToR	274.7TFLOPS
76位	スウェーデン王立工科大学		75.1TFLOPS
97位	CRAY	Tuna	53.2TFLOPS

　スウェーデンのシステムはXT6mである。その他の既存のXT5ユーザーはというと、例えばオークリッジ国立研究所は6コア2.6GHzのOpteronを搭載したCRAY XT5-HEに切り替えて凌いでおり、実際この2010年6月には1759.0TFLOPSでTOP500の1位を獲得している。

　このCRAY XT5-HEを選んだユーザーは他にもいくつかある。次の2010年11月のリストを見ると、このXT6をスキップして後継のXE6を選んだところが少なくない。

現在の最高性能のマシン
Cielo

　ということで、いよいよ本題のXE6である。基本的な構造はXT6と同じだが、大きな違いはインターコネクトにSeaStarに代えてGeminiを採用したことだ。

　下の写真がGeminiの構成だが、4つのOpteronプロセッサーをまとめて接続でき、また外部リンクを10本(それぞれ9.3GB/秒)持つ構成である。ハイパートランスポート・リンクも10.4GB/秒に引き上げられている。

Geminiの構成。CRAY JapanのXE6のカタログより

　CRAYによればこのGeminiでは10万ノードを超えるシステムを構築するのが目的としており、これに向けてSeaStarを大規模に拡張したのがGeminiというわけだ。

　これにあわせて、XE6ブレードも若干違いが見られる。ただし違いがあるのはそれだけであり、後はほぼXT6と同じ構成になっている。

同じくXE6のカタログより。プロセッサー周辺部には違いがないが、SeaStarがあったあたりが違っているのがわかる

　XE6が発表されたのは2010年5月であるが、これに先立つ2010年4月に国家核安全保障局はCRAYとの間でこのXE6ベースでCieloを構築する契約を結ぶ(関連リンク)。契約金額は5400万ドル未満で、2010年の第3四半期から設置を開始し、2011年には運用を開始している。

　最終的な構成は8コア/2.4GHz駆動のOpteron 6136をベースとした14万2272コア(つまりプロセッサー数は1万7784個)の構成。性能は1110TFLOPSで、理論性能の1365.8TFLOPSと比較して81.3％もの効率を誇っており、これだけの大規模システムとしてはかなり高いとしてよい。

　ただその一方で消費電力は3980KWに達しており、343.1KFLOPS/Wというのは、RoadRunnerあたりと比較する分にはいいのだが、BlueGene/Qなどと比較するとかなり分が悪いのは事実である。

　ただロスアラモス国立研究所は現状このCieloが最高性能のマシンであり、今しばらくの間は運用が続くと思われる。

　ちなみにCRAYは、XE6ブレードにNVIDIAのTesla X2090を組み合わせたCRAY XK6やTesla K20を組み合わせたCRAY XK7などをリリースする。

　さすがにAMDのOpteronシリーズのアップデートがなくなったこともあり、アーキテクチャーをインテルのXeonに鞍替えしてCRAY XCあるいはCRAY CSというラインナップをメインに据えており、すでにAMDベースのXT/XEシリーズは「過去の製品」扱いとなっているのは致し方ないだろう。