このページの本文へ

ロードマップでわかる!当世プロセッサー事情 第749回

生成AI向けGPU「Instinct MI300X」はNVIDIAと十分競合できる性能 AMD GPUロードマップ

2023年12月11日 12時00分更新

文● 大原雄介(http://www.yusuke-ohara.com/) 編集●北村/ASCII

  • この記事をはてなブックマークに追加
  • 本文印刷

動作周波数が2.1GHz程度になるであろう
AMD Instinct MI300X

 Ryzen 8040シリーズはいわばオマケで、本題はInstinct MI300XとInstinct MI300AがNVIDIAのH100やGH200と十分競合できる製品であることをアピールすることだった。まずはInstinct MI300Xについて説明しよう。

 MI300Xの構造は連載726回で説明しているが、4つのIODの上に8つのCDNA 3ダイ(XCD)が載り、さらにそれぞれのIODに2つづつHBM3 スタックが接続される構造である。

MI300Xの構造。画像の右側にあるとおり、4つのIODの上に8つのCDNA 3ダイ(XCD)が載り、さらにそれぞれのIODに2つづつHBM3 Stackが接続される

 この構造であるが、今回以下のことが示された。

  • IODは合計256MBのインフィニティ・キャッシュを搭載する。つまりIODあたり64MBとなる。
  • XCDは合計で304XCUを搭載する。つまりXCD 1個あたり38XCUという計算になる。
  • HBM3の合計帯域は5.3TB/秒になる。

Instinct MI200シリーズはインフィニティ・キャッシュが未搭載だったが、そろそろCDNAにインフィニティ・キャッシュが来る頃だと思っていた。ただ以前公開のダイ写真からすると、2次キャッシュが省かれてその分インフィニティ・キャッシュを搭載する感じになるようだ。ちなみにMI200シリーズはダイあたり8MBの2次キャッシュを搭載していた

 また上の画像には入っていないが、Lisa Su CEOの説明の中でFP16で1.3PFlops、FP8で2.6PFlopsの処理性能があることが示された。ちなみに競合のH100は、Tensor Coreを利用した場合にFP16で989.4TFlops、FP8で1978.9TFlopsとなっている。これもいろいろあって、Sparsity Featureを利用すると性能が倍になる(1978.9TFlops/3957.8TFlops)といった数字も出ているが、とりあえずこれはまた別の話なのでおいておく。

 まず演算性能について。そもそもXCDあたり38CUというのは中途半端だし、連載726回で紹介したようにInstinct MI300XのXCDにはXCUが40個づつ搭載されているように見える。おそらくハードウェア的には40XCUで、うち2つが冗長XCUに充てられているものと考えられる。

 問題はXCUの中身だ。連載726回で、Instinct MI300のXCUは、Instinct MI200の2倍の処理性能ではないか? と仮定したわけだが、この計算が正しいとすると、1つのXCUあたりの処理性能は以下の計算になる(Vectorの場合はFMAを利用して1回の計算が2Flopsとしている)。

XCUの処理性能
演算 性能
Vector FP64 256Flops/cycle
Vector FP32 512Flops/cycle
Vector FP16/BF16 1024Flops/cycle
Matrix FP64 512Flops/cycle
Matrix FP32 512Flops/cycle
Matrix FP16/BF16 2048Flops/cycle
Matrix FP8 4096Flops/cycle
(MI200はFP8を未サポートなので筆者の推定)
Matrix Int8 2048Ops/cycle

 システム全体で308CUなので、1サイクルあたりの処理性能はMatrix FP16/BF16の場合で630784Flops、FP8では1261568Flopsになる。この処理性能で、先に書いた「FP16で1.3PFlops、FP8で2.6PFlops」を達成しようとすると、だいたい動作周波数は2GHzほどになる計算だ。

 正確に言えば2.06GHzくらいになるので、実際は2.1GHz程度かもしれない。ちなみに2.1GHz駆動だとFP16で1.32PFlops、FP8で2.65PFlops程度になる。Instinct MI250XがTSMC N6を利用してピーク1.7GHz駆動だったことを考えれば、Intinct MI300XはXCUはTSMC N5だしピークが2.1GHz程度であるのは不思議ではないだろう。正確なスペックはまだリリースされていないが、そうは外れていないはずだ。

カテゴリートップへ

この連載の記事