スーパーコンピューターの系譜　SMPクラスター構成のASCI Bule Mountain

2015年01月26日 12時00分更新

システムと記憶装置を接続するバス
HIPPI

　HIPPI（HIgh Performance Parallel Interface：高速並列インタフェース）についても説明しておこう。HIPPIそのものは特定のメーカーが開発した規格ではなく、さまざまなメーカーがこれに対応した。

　CRIもCRAY-2やCRAY-X/Yシステム同士、そしてRAIDなどを接続するのにHIPPIを多用しており、その意味ではSGIがCRIを買収したことで、HIPPIに習熟したエンジニアを多数確保できたこともBlue Mountainの構築には役立ったと思われる。

HIPPIの構成図。“HIPPI the first standard for high-performance networking”(Los Alamos Science Number 22,1994)より抜粋

　配線そのものは50対ないし100対の撚り対線からなり、50対で800Mbps(これがHIPPI-800と呼ばれる)、100対(同HIPPI-1600)で1.6Gbpsの転送速度を持つ。

　電線を利用した場合最大25mまで、途中に光ファイバーの変換をはさむと10Kmまでの伝送が可能というもので、ロスアラモス国立研究所を中心に開発され、ANSIでの標準化もなされた。

　これに続き、伝送速度を8倍に高めたHIPPI-6400(後のGSN：Gigabyte System Network)もやはりロスアラモス国立研究所で開発がなされたが、Origin 2000そのものはHIPPI-800で設計された。

順次ボックスを追加して性能アップを図った
Blue Mountain

　中身の説明はこの程度に留めておいてシステムの説明に戻ろう。Blue MountainとOrigin 2000の違いは、まずはプロセッサーだ。

　Origin 2000が先に述べた通り195MHz駆動のR10000を採用したのに対し、Blue Mountainでは250MHz駆動のものにアップグレードされ、これでノードあたり1GFLOPS(プロセッサーあたり500MFLOPS)に性能が改善された。

　最終的にBlue Mountainでは128プロセッサー(64ノード)のR10000を収めたシャーシ(これをボックスと称した)が48個で構成された。ちなみに1つのボックスは8本のキャビネットからなる。

　総プロセッサーは6144個で、理論性能では3.072TFLOPSということになる。もちろん全量がいきなり納入されたわけではなく、1998年の6月から11月にかけて順次ボックスが導入され、かつ1999年にHIPPI-800をHIPPI-6400に更新する作業があって、やっとフルの性能が発揮されるようになった。

　まず初期段階で、部分的に性能評価を行なった結果の一例が下の画像だ。共役勾配法の計算を3Dで行なうとともに、問題を大規模にすることでどの程度の実性能が出るかを確認したもので、特に2048プロセッサーではそれなりにチューニングが必要という結果は出ているものの、改善の余地があることを示唆している。

Blue Mountainの性能評価。Lars Kr.Lundin博士が欧州科学計算研究訓練センターの20周年記念の際に発表したASCI Blue Mountainに関する論文から抜粋

　これを示すように、TOP500の結果(関連リンク)を見ると、とりあえずボックスを納入しただけの状態の1998年11月の結果は690.9GFLOPSでランキング4位なのが、1999年6月になると1608GFLOPSでランキング2位まで改善されている。

　最終的なシステムの構成では、設置面積は1万平方フィート、消費電力は1.6MWという膨大なものだった。当初の計画の、最大4096wayのSMPという話はさすがに無理だった。

　それどころか、元になったOrigin 2000の1024wayすら放棄され、128wayのマシン×48という構成になったのは、妥当というか当然だろうという気はするのだが、ここまで構成が変わると「あの提案は何だったんだ？」という声は当然上がったかと思う。

　ただエネルギー省関係の資料を探っても、そのあたりの詳細はまったく見当たらないのは大人の事情であろうか。691GFLOPSか1608GFLOPSまで改善された要因は、おそらくHIPPI-800からHIPPI-6400への更新であろうと想像されるが、それでもこれだけのプロセッサー数だとやはりインターコネクトがボトルネックになったのだろうと思われる。