今回から再びスーパーコンピューターの話に戻る。連載310回からしばなくアクセラレーターを解説してきたが、こちらはまだ現在進行形の話であり、この先の話はもう少し時間が経たないと説明できない。
そもそもなぜアクセラレーターの話をしたかといえば、ASCI/ASCの先端システムが全部CPU+GPUのハイブリッド構成に急速に移行しているからで、ASCI/ASCの話を追ってゆくと必然的に触れる必要があった。
ただASCの現役最高性能のSequoiaや、ASCと直接関係はないが、Titanなどの話はすでに解説した。
これに続きIBM/NVIDIA連合がPower8+GPUベースでオークリッジ国立研究所とローレンス・リバモア国立研究所に納入するSummit/Sierraは、インストール開始が2017年、オペレーション開始が2018年を予定している(関連リンク)ため、まだ説明をするには早すぎるし、資料もない。
ということで、このあたりで一度ASCI/ASCのシステムの変遷を追っていくのは一旦やめにして、これまで歴史を追っていく中で説明を後送りにしたものをいろいろ拾っていきたいと思う。
今回はその1つ目ということで、Tera Computer Co.のMTAの話をしたい。Tera COmputer Co.は以前、Red Stormの説明のところで少し出てきた。
ちなみにこの記事ではうっかり「ところが2000年、SGIはカナダのTera Computer Co.にCRI部門を丸ごと売却してしまった」と書いてしまったが、カナダではなく「カナダに近いワシントン州シアトル」の会社である。お詫びして訂正したい。
SMP+SMTに近い独特な構成となった
Tera MTA
そのTera Computer、設立は1988年のことである。創立したのはJim Rottsolk氏とBurton Smith氏の2人で、Rottsolk氏がCEO、Smith氏がChief Scientistの職を担っていた。両者は2005年に辞任しており、奇しくも2人とも現在はMicrosoft(Rottsolk氏はMicrosoft SiArchのSenior Director、Smith氏はTechnical Fellow)に在籍している。
そのTera Computerが最初に手がけたのはThreaded Processorである。最初の製品であるTera MTA(あるいはMTA-1)は、Multi-Threaded Architectureの頭文字をとったものである。
MTA-1はその名の通り、内部に仮想的に128のバーチャルプロセッサーを実装し、このそれぞれが別々のスレッドに割り当てられている。最近の言い方にすれば128wayのSymmetric Multi Thread(SMT)の構成と考えればいい。
もっとも、昨今のSMTとはやや異なる部分もある。通常のSMTマシンの場合、どれだけスレッド数が増えても、それを実際に処理する実行ユニット部に関しては固定である。例えばSMT対応のプロセッサーが2つあっても、あるスレッドの処理が2つのプロセッサーをまたいで処理されることはない。
これに対してMTA-1の場合は、複数の物理プロセッサーにまたがる形で、あるスレッドの処理を分散して処理可能である。もう少し正確に書くと、複数のプログラムからさらに複数のスレッドが生成されることになるが、この生成されるスレッドがプロセッサーをまたぐ形で実行可能ということである。
要するにSMP+SMTの構成に近い形だ。ただしその規模がまったく異なる。下図は1ノードのMTA-1内部の模式図であるが、インターコネクト・ネットワークを経由する形で最大256のプロセッサーと最大512のメモリーユニット、他に最大256のI/Oキャッシュユニットと256のI/Oプロセッサーを接続可能だ。
このインターコネクト・ネットワークは16×16×16の3Dメッシュ構造を持っており、最大ノード数は4096になる。プロセッサーやメモリー、I/O類を全部接続しても1280ノードなので残りは未接続のままであるが、あえて未使用のまま残してあるそうだ。
これはレイテンシーの最適化を図るためで、インターコネクトは常に最短の経路を通って通信を行なうように工夫されているという。
→次のページヘ続く (ガリウム砒素で製造しPentium IIより高性能に)
この連載の記事
-
第797回
PC
わずか2年で完成させた韓国FuriosaAIのAIアクセラレーターRNGD Hot Chips 2024で注目を浴びたオモシロCPU -
第796回
PC
Metaが自社開発したAI推論用アクセラレーターMTIA v2 Hot Chips 2024で注目を浴びたオモシロCPU -
第795回
デジタル
AI性能を引き上げるInstinct MI325XとPensando Salina 400/Pollara 400がサーバーにインパクトをもたらす AMD CPUロードマップ -
第794回
デジタル
第5世代EPYCはMRDIMMをサポートしている? AMD CPUロードマップ -
第793回
PC
5nmの限界に早くもたどり着いてしまったWSE-3 Hot Chips 2024で注目を浴びたオモシロCPU -
第792回
PC
大型言語モデルに全振りしたSambaNovaのAIプロセッサーSC40L Hot Chips 2024で注目を浴びたオモシロCPU -
第791回
PC
妙に性能のバランスが悪いマイクロソフトのAI特化型チップMaia 100 Hot Chips 2024で注目を浴びたオモシロCPU -
第790回
PC
AI推論用アクセラレーターを搭載するIBMのTelum II Hot Chips 2024で注目を浴びたオモシロCPU -
第789回
PC
切り捨てられた部門が再始動して作り上げたAmpereOne Hot Chips 2024で注目を浴びたオモシロCPU -
第788回
PC
Meteor Lakeを凌駕する性能のQualcomm「Oryon」 Hot Chips 2024で注目を浴びたオモシロCPU -
第787回
PC
いまだに解決しないRaptor Lake故障問題の現状 インテル CPUロードマップ - この連載の一覧へ