ロードマップでわかる！当世プロセッサー事情 第302回

スーパーコンピューターの系譜　Red Stormの後継機Cielo

商業的に成功した
XT3の後継TX4

　XT3の後継となるのがXT4である。XT3とXT4の違いは、プロセッサーが90nm世代のItalyコア(Socket 940/DDR SDRAM対応)から90/65nm世代のSanta Rosa/Butapestコア(Socket F/DDR2 SDRAM対応)に変更されたことと、ノード間接続が従来のSeaStarからSeaStar2に変更されたことの2点である。

CRAY XT4のカタログより「XT4」の構成図。ここではHyperTransport Linkが6.4GB/secとあるが、これはプロセッサーによって変化する

SeaStar2の構造は、これだけ見るとSeaStarと区別がつかない。

　まずプロセッサーに関して言えば、Italy世代が95WのTDPで最大2.6GHz駆動のデュアルコアだったのに対し、Santa Rosa世代では同じ95W TDP枠で3GHzまで動作周波数を引き上げた。Barcelonaでは2.3GHzまで動作周波数は落ちたもののコア数は倍増になったため、ノードあたりの計算能力は1.8倍になる。

　また、対応メモリーがDDR2-SDRAMとなったので、メモリー帯域は単純に倍増しており、メモリーアクセスを多用する計算における性能の底上げが図られることになった。

　一方のSeaStar2だが、基本的な構成はSeaStarと変わらない。スペックの違いは主にSeaStarのASICとOpteronをつなぐハイパートランスポート・リンクのI/Fであり、初期のSeaStarは6.4GB/秒の双方向ながら実効帯域が2.17GB/秒だったのに対し、SeaStar2ではここが8GB/秒に底上げされている。

　このXT4は、XT3からのアップグレードという形で利用されたケースも多かった。例えばオークリッジ国立研究所のJagureは2005年にXT3ベースで構築されたが、2006年末にXT4ベースにアップグレードされており、2007年6月のTOP500では101.7TFLOPSをたたき出して2位の座を確保している。2007年11月のTOP500の上位100位を見てみると以下のところが早くもXT4を導入している。

2007年11月のTOP500で、上位100位以内にあるXT4
順位	組織	システム名	実効性能
7位	オークリッジ国立研究所	Jagure	101.7TFLOPS
9位	米エネルギー省科学局 ローレンス・バークレー国立研究所 国立エネルギー研究科学計算センター	Franklin	85.4TFLOPS
17位	エジンバラ大	HECToR	54.6TFLOPS

　また、RedStormも2008年には一部をXT4相当に置き換えており(関連記事)、XT4も、それなりに商業的に成功したモデルとして差し支えはないだろう。

TX4の性能を向上させたTX5
液冷オプションも追加

　このXT4をさらに強化したのが、2007年に発表されたXT5シリーズである。XT4からの変更点は以下の4点。

CRAY XT5のカタログの表紙より。キャビネットの上にあるのは液冷用のユニットで、キャビネットの右端のサービスユニットに接続されている。

• プロセッサーコアはXT4と同様にOpteron 2000シリーズのクワッドコアを利用するが、1つのコンピュートノードに2つのOpteronコアがぶら下る。
• 4つのコンピュートノードをまとめて1枚のブレードに収めた
• インターコネクトはSeaStar2+にアップグレード
• 空冷以外に水冷オプションが用意された

　まずプロセッサーについては、当初こそBarcelonaコアで動作周波数が上がらずに苦闘していたが、続いて投入された45nmプロセスであるShanghaiベースの4コア、あるいはIstanburベースの6コアOpteronを利用することで動作周波数の引き上げができるようになった。

　あるいは動作周波数を落とさずに消費電力を下げられたことで、とりあえず性能面での問題は一段落した感がある。

　また、この世代では2つのOpteronをハイパートランスポート・リンクでつなぎ、その対の片方にのみSeaStar ASICをつなぐことでプロセッサーの密度を引き上げている。

先のXT4の構成図と比較すると、TX5の違いがわかりやすい。ちなみにサービスノードは引き続きOpteronは1つだが、XT4ではPCI-X×2だったI/OリンクがPCI Expressに変更された

　下の画像がXT5ブレードと呼ばれるものだが、こんな具合に8つのプロセッサーと32本のDIMMスロット、それと4つのSeaStar2+ ASICをまとめて1枚のブレードに収めることで実装密度を高めている。

XT5ブレード。上に4つ並んでいるヒートシンクがSeaStar2+のASIC、その脇に8つ並んでいるのはVRMモジュールと思われる

　ただ実装密度を引き上げると放熱の問題が当然出てくることになるが、これに対してXT5では従来の空冷に加えて液冷オプションも提供している。

これもXT5のカタログから。これは3つ上の画像でキャビネットの上に突き出している部分と思われる。XT5ブレードのヒートシンク部に接する形で液冷ヘッドが装着され、その給排液が真っ直ぐキャビネット上に引き出されて横方向に伸びているのだろう。ちなみに冷却に利用されるのは代替フロンの1つとして一般にも広く利用されているR134aである

　SeaStar2+そのものは従来の構造と大きくは変わらない。ただし、SeaStar同士のリンクが7.6GB/秒から9.6GB/秒に引き上げられているのがSeaStar2との相違点となる。

SeaStar2+の構造。もっとも構造は従来と変わらないとは言っても高速化されているあたり、プロセス微細化などは当然なされていると思われる

　XT5もやはりそれなりに広く利用された。2009年6月のTOP500の上位100位を見てみると以下のとおり、CRAY自身のものを除外しても結構な台数がこの時点で既に運用されていることがわかる。

2009年6月のTOP500で、上位100位以内にあるXT5
順位	組織	システム名	実効性能
2位	オークリッジ国立研究所	Jagure	1059.0TFLOPS
6位	米海軍犯罪捜査局/テネシー大	Kraken	463.3TFLOPS
23位	Swiss National Supercomputing Centre	Monte Rosa	117.6TFLOPS
39位	NOO/NAVO		90.8TFLOPS
48位	米陸軍研究所		76.8TFLOPS
57位	CRAY	Shark	67.8TFLOPS

　特にオークリッジ国立研究所は継続的にJagureをアップグレードしており、2005年から2009年の間に15.2TFLOPS→1059TFLOPSまで性能を引き上げている。

　ちなみにXT5には、XD1とよく似たOpteron＋FPGA構成のCRAY XR1ブレード、それとCRAYが従来からサポートしてきたベクトル方式を継承した「CRAY X2」という独自プロセッサーを搭載したX2ブレードも用意され、これらを混在させることも可能だった。

　またSeaStar2+のリンクを4本に制限し、2次元構造のメッシュ接続とした低価格モデルのCRAY XT5mというモデルも後追いで追加されている。

→次のページヘ続く　（現在の最高性能のマシンCielo）