ロードマップでわかる！当世プロセッサー事情 第856回

1400WのモンスターGPU「Instinct MI350」の正体、AMDが選んだ効率を捨ててでも1.9倍の性能向上を獲る戦略

GB200超えの性能を示すも、課題は「1400W」
MI400世代への期待と不安

　次いでIODの方を。下の画像を見ると、やはりMI300シリーズに比べてインフィニティ・ファブリックの領域がやや減っている分、よりゆとりを持って配置できているように感じる。

一番知りたいところが見えないという……

　興味深いのは、インフィニティ・キャッシュの容量を増やすのではなく、アクセスの帯域を増やす方向に振ったということ。容量を増やすのにはさらに大きなダイにする必要があり、IODのサイズが相当大型化してしまうためであろう。

　ところで前に、2つのIODの接続がPHYを使わずにSoW的につながっているのでは？　と書いたが、上の画像ではその部分に水色で説明が上書きされていてわからない。幸いにも論文の方にはIODの写真がそのまま掲載されていたので、これのブロック分けをしたのが下の画像である。

IODの写真が掲載された論文。とは言えかなり粗いのだが……

上の画像をブロック分けしたもの。この解像度ではどこにXCD接続用のTSVが配されているのかよくわからない。それだけ分散しているという可能性もある

　この画像で言えば上辺がIOD相互接続用のブロックになるが、HBM3Eや外部接続用のインフィニティ・ファブリック/PCIeに関しては明確にPHYが配されているのがわかるのに対し、相互接続用ブロックはそうしたものが見当たらない。

　やはりここはPHYを使わず、いきなりSingle Endedな信号の相互接続をしている公算が高そうである。こうした工夫により、IODの相互接続に要する消費電力を20%減らせた、というのはかなり努力した結果と言える。

IODそのものはTSMCのN6のままなので、プロセス側でできる工夫はすでにやり終えており、あとは配線や回路の工夫でこれを実現したわけだ

　全体として消費電力がかなり上がったのは、Matrix Coreの規模が2倍になればそれは消費電力も2倍になるよね、という話でそれを工夫してなんとか抑え込んでいるが、その電力分布が下の画像である。

Memory IntensiveでHBMの一部が熱くなっているのは、HBMの一番下にあるController Dieが発熱している様子であろう

　GPU Intensiveの場合は当然GPUコアに消費電力が集中する訳だが、Memory Intensiveの場合は上手くIODとHBMに消費電力が分散される構造になっているのが判る。MI300Xに比べると倍の消費電力をHBMとIODで消費できるわけで、Memory Intensiveの場合に実効帯域が増えるのも納得である。実効帯域を増やすとそれだけ消費電力が増える訳で、ある意味消費電力と実効帯域は比例関係にあるからだ。

　ここからは性能比較である。ピーク性能での比較なのであまり意味はないのだが、B200/GB200との性能比が下の画像。LLMに関して、MI300X/MI325Xと実際に比較した結果がその下の画像だ。

B200/GB200との性能比。BlackwellはFP64を半分捨ててることもあって、ここでの性能は大きな差になっている。あとB200/GB200はMXFP6をハードウェアでサポートしていない関係で、実質FP8相当での性能になる

こちらはMLPerfに登録された、つまり実機で測定した結果での比較である

　トレーニングの結果が下の画像で、GB200よりやや高速であることが確認できる。これはそのほかの結果でも同じだ。

トレーニングの結果。MI350シリーズはBlackwell対抗なので、わりと妥当な数字だろう。まだGB200の入手性はあまりよろしくない(大口ユーザーに優先して納入されている)ことを考えると、入手性や価格次第では十分競争力があるとは言えそうだ

圧倒的な差とは言えないが、少なくとも以前(CDNA2のころ)に比べると互角になったことは間違いない

　全体として、かなり競争力が高まっていることはわかるのだが、それでも1400Wという消費電力はB200の1200Wを超えているわけで、このあたりがネックと言えばネックである。ただわりと尽せる手は尽くし切った感が伝わってくる内容だった。こうなると、MI400はどうやってここから性能を高めているのか？　というのが気になるところである。2000Wオーバーとかにならないといいのだが……。