ロードマップでわかる!当世プロセッサー事情 第701回
性能が8倍に向上したデータセンター向けAPU「Instinct MI300」 AMD CPUロードマップ
2023年01月09日 12時00分更新
Instinct MI300のAI性能はMI250Xの8倍
次が性能の話である。今回Instinct MI300が「AI性能で」MI250Xの8倍になる、という説明があった。これをもう少し考察してみたい。MI250の内部構造は連載644回で説明したように、1つのダイに14×8=112XCUという計算であった。これが2ダイ構成なので合計224XCUである。ただ実際には2XCUは無効化して110XCUとして利用しているので、2ダイで220XCUである。
一方MI300は1つのタイルあたり4×10×4で160XCUとなる。これが6タイルなので無効XCUがないと仮定すると合計で960XCU。仮にXCUの性能そのものが変わらないとしても、これだけで4.37倍ほどの性能向上が実現する計算になる。
XCUは通常のベクトル演算以外に、FP16およびBF16のマトリックス演算をサポートしており、AI性能ということはおそらくこのマトリックス演算の性能と思われる。MI200の数字が下の画像であるが、通常のベクトル演算の8倍のスループットが実現できる。
さてMI300であるが、連載672回のスライドで、“New Math Formats”と言及されている。連載672回でも書いたが、これはFP16/BF16をFP8に変更した、という話である。
FP8のフォーマットは連載661回で説明しているが、仮数部は2bitないし3bitで、FP16の10bitやBF16の7bitに比べると大幅に桁数が少ない。したがって同じ演算回路規模なら2倍の性能向上が実現することになる。
先の4.37倍とこの2倍を掛け合わせると8.74倍という計算になり、8倍が簡単に実現してしまった形だ。実際には動作周波数が違う(おそらくMI200シリーズより下げないと間に合わない)だろうし、無効XCUなどもあるだろうから、もう少し性能比は縮まり、おおむね8倍程度になるのだろうと想像される。
つまりベクトル演算に限って言えば言えば4倍程度になるということだ。ちなみに計算の簡単化のために、ここにはZen 4コアの計算能力は加えていない。もしZen 4の分まで計算に入れると4倍を下回る可能性もある。ただAIで言えば、CDNA3はFP8で計算を行えるのに対し、Zen 4のAVX512に実装されているVNNIはINT8なりBF16なりでFP8には未対応である。なので恐らくZen 4の性能は加味されていないと思われる。
ところで性能が8倍になるのに消費電力効率は5倍、ということは絶対的な消費電力はMI200シリーズの1.6倍に跳ね上がることになる。MI250の場合は液冷で560W、空冷で500Wというスペックだったが、MI300ではそれぞれ896W/800Wになる計算だ。このクラスで空冷は非現実的なので、おそらくは液冷で900Wということになる。
OAM(OCP Accelerator Module)の最新スペック(v1.5)でも確認したが、P48V(48V電源ライン)の最大供給能力は700Wに限られており、「大丈夫なのか?」とやや気になる部分ではある。
とはいえ、MI300はこれ1つでFP64 Vectorが最大192TFlopsを実現する。El Capitanは1ノードにEPYC×1+Instinct MI300×4の構成である。このEPYC×1はおそらくネットワーク制御のみに使われるもので、計算処理はInstinct MI300で行なわれると思われる。
ということでノードあたりのFP64の性能は768TFlopsに達しており、2 EFlopsを実現するのに2605ノードあれば足りる計算になる。ノードあたりの消費電力は、MI300の消費電力を仮に900Wと仮定すると4KWほど。2605ノード分で10MW強に収まる計算だ。
実際にはEl Capitanの構築にはHPEも絡んでいるのでSlingshotでネットワークを構成するだろうし、計算ノード以外に管理ノードやストレージの分もあるだろうから10MWでは足りないだろうが、20MWには達しない程度で収まる計算になる。
Frontierの場合と同じく動作周波数をもう少し下げ、その分ノード数を増やして性能/消費電力比を向上させるかもしれない。ただFrontierが9248ノードと数が多く、その結果として絶対性能はともかく効率が低いという話は連載670回で触れたとおり。El Capitanはノード数が大幅に減っているので、この効率向上にも貢献しそうだ。
もともとAMDのリリースでは、El Caputanは2023年初頭に稼働という話であったが、実際にはやや後ろにズレた格好ではある。といってもすでにローレンス・リバモア国立研究所にはMilan+Instinct MI250X構成のパイロットシステムであるrzVernal/Tioga/Tenayaという3つのシステムが稼働中であり、2022年6月にはこの3つがすべてTOP500の200位以内に入っているというあたり、この程度の遅延は問題にならないのだろう。
というわけでCPUタイル周りは謎のままであるが、Instinct MI300がわりと現実的に出荷に向けて進んでいることが明らかになった発表であった。

この連載の記事
-
第811回
PC
Panther Lakeを2025年後半、Nova Lakeを2026年に投入 インテル CPUロードマップ -
第810回
PC
2nmプロセスのN2がTSMCで今年量産開始 IEDM 2024レポート -
第809回
PC
銅配線をルテニウム配線に変えると抵抗を25%削減できる IEDM 2024レポート -
第808回
PC
酸化ハフニウム(HfO2)でフィンをカバーすると性能が改善、TMD半導体の実現に近づく IEDM 2024レポート -
第807回
PC
Core Ultra 200H/U/Sをあえて組み込み向けに投入するのはあの強敵に対抗するため インテル CPUロードマップ -
第806回
PC
トランジスタ最先端! RibbonFETに最適なゲート長とフィン厚が判明 IEDM 2024レポート -
第805回
PC
1万5000以上のチップレットを数分で構築する新技法SLTは従来比で100倍以上早い! IEDM 2024レポート -
第804回
PC
AI向けシステムの課題は電力とメモリーの膨大な消費量 IEDM 2024レポート -
第803回
PC
トランジスタの当面の目標は電圧を0.3V未満に抑えつつ動作効率を5倍以上に引き上げること IEDM 2024レポート -
第802回
PC
16年間に渡り不可欠な存在であったISA Bus 消え去ったI/F史 -
第801回
PC
光インターコネクトで信号伝送の高速化を狙うインテル Hot Chips 2024で注目を浴びたオモシロCPU - この連載の一覧へ