ロードマップでわかる！当世プロセッサー事情 第300回

スーパーコンピューターの系譜　世界初の1PFLOPSを達成したRoadRunner

ASC Projectが選んだのは
OpteronとCell

　ASC Projectは最終的に、このCellをベースとしたHeterogeneousのシステムを構築する契約を2006年9月にIBMとの間で結んだ。契約では3つのフェーズに分かれており、以下の3段階でシステムを納入することになった。

• Phase 1：Opteronプロセッサーを利用したBase System
• Phase 2：OpteronにCellを組み合わせた部分的な実証システム
• Phase 3：Opteron＋Cellの完全なシステム

　なぜIBMが、同社のPower/PowerPCや、あるいはインテルのCPUを使わずにAMDのOpteronを選んだのかといえば、2006年当時ではIBMならPOWER 5+になるが、動作周波数は2.3GHz程度で絶対的な演算性能は高かったが、消費電力も大きかった。

　一方インテルはさらに動作周波数の高いDempsey/Tulsa世代をこの時期投入していたが、これはCeder Millベースのコアで、動作周波数はともかく性能は低かった。

　そもそもOpteronコアは、後で登場するCellに対してデータ配分を行なう役目なので、必ずしも高い性能は不要で、むしろI/Oのスループットや低消費電力が求められる素養だった。

　この点、Hyper Transport Linkを使ってI/Oを拡張できるOpteron系列は、チップセット経由でI/Oをぶら下げるインテルやIBMのプロセッサーよりもむしろ優れている、という判断だったのだと思われる。

　実際、ロスアラモス国立研究所に設置されたRoadRunnerに利用されたのは、1.8GHz駆動の「Opteron 2210」であった。

　さて、Phase 1で納入されたのは、LS21とExpansion bladeの構成（下図）である。LS21は薄いブレード構成の2Pサーバーで、実際には図よりももう少し複雑だ。Hyper Transport Tunnel経由でサウスブリッジも搭載、これにさまざまな周辺回路や、起動用のSAS HDDなども利用可能だが、とりあえず図では省かせてもらった。

薄いブレード構成の2Pサーバーである「LS21」。IBM BladeCenter LS21/LS41のInstallation and User's Guideより抜粋

LS21とExpansion bladeの構成

　これに組み合わせる形で、Expansion bladeと呼ばれるものがやはり同じサイズで重ねられた。こちらの中身は、2つのOpteronの先から出る2本のHyper Transport Link x16をコネクター経由でつなぎ、その先にBroadcomの「HT2100」というHyper Transport/PCI Expressブリッジに接続している。

　「HT2100」は元々はServerWorksが発売していたもので、2001年にBroadcomが同社を買収、この当時はBroadcomの製品として提供されていた。

　構造は下の画像6のように、x16のHyper Transport LinkでCPUと接続し、ここから5ch、x24レーンのPCI Express Gen1レーンを出力するというものだ。

Broadcomの「HT-2100」のカタログより抜粋。実際にはここにあるようにHT-2100以外にHT-1100というサウスブリッジも存在したが、これはRoadRunnerでは使われていなかった

　Expansion blade自身はこれを3chのx8レーンという構成で、このうち2本はこのあと出てくるQS22に接続、残り1本はオンボードのスロットに接続される。このスロットは本来ならば2本分があるのだが、片方はInfiniband 4x DDRボードが装着されて外部のファブリックに接続され、もう片方は単に未使用になっている。

　ではPhase 2/3ではどんな構成になったのか？　というのが下図である。上半分はPhase 1と同じだが、未使用だった4本のPCI Express x8レーンの先に、4つのPowerXCell 8iがIBMサウスブリッジ経由で接続される。この2つのOpteronプロセッサーと4つの「PowerXCell 8i」を組み合わせることで1つのノードが構成された。

Phase 2とPhase 3での構成

→次のページヘ続く　（実効性能で1PFLOPS超えを果たす）