ロードマップでわかる！当世プロセッサー事情 第661回

HopperはHBM3を6つ搭載するお化けチップ　NVIDIA GPUロードマップ

　久しぶりに今週はNVIDIAの話だ。前回のロードマップアップデートが連載581回なので半年ぶりである。なぜこんなに空いたかと言えば、新製品がまったく出てこないのが理由である。今年1月に発表になったGeForce RTX 3080 12GBは新製品と言えば新製品だが、基本的にはGeForce RTX 3080 Tiのダウングレード版ということを考えると、バリエーションチェンジの範疇と言えよう。

　そんなNVIDIAであるが、3月23日からオンライン開催となったGTC 2022の基調講演で、次世代GPUであるHopperが発表になった。実際にはHopperだけでなく、ものすごく盛り沢山の発表があり、これを全部カバーするのは1本の記事では到底不可能なのだが、現状ではまだ詳細が明らかにされないGraceなどは後回しにして、一番の目玉とでもいうべきHopperことNVIDIA H100 GPUについて今回は説明しよう。

HopperことNVIDIA H100

NVIDIAが次世代GPUの“Hopper”こと「GH100」を発表

　まずはJensen Huang CEOの基調講演から、Hopperに話を絞って説明しよう。Hopperというコード名で開発されたGH100は、HBM3を6つ搭載するやはりお化けチップであった。

「次世代のAIプロセッサーを紹介する」と言うCEOの脇から柱がせり出し、GH100チップが湧いてきた

長辺にHBM3が3つづつ並んでいるあたりでチップそのものの大きさがわかろうというもの

　性能はFP32/FP64で60TFlops、AI向けのFP8では4000TFlopsに達する(FP8の話は後述)。TSMCのN4をベースとした、カスタム版の4Nプロセスで製造され、トランジスタ数は800億個に達する。ちなみにダイサイズは814mm²で、おそらくEUVステッパーのReticle Limit(露光できる寸法の限界)ギリギリなのだと思われる。

もう素直にTF32で1PFlops、FP8では4PFlopsと書いた方が良かったような気がする

Bandwidthの話は後述する

4nm世代で800平方mmオーバーなのは、現時点では間違いなく"World's Most advanced Chip"である

　またこのスライドではNVIDIA H100となっているが、正式にはチップの名称がGH100、これを搭載したモジュールがH100である(わりとこのあたりがNVIDIAの資料を見ているといい加減なのがアレだが)。

　新機能として挙げられているのはTransformer Engine、第2世代のMulti-Instance、Confidential Computing、第4世代NVILink、DPX命令セットなどであるが、これはこの後もう少し詳細な説明があるのでそちらで説明したい。

　このGH100を搭載したSXMモジュールであるH100は1個あたり700Wの消費電力とされる。このH100を8つ搭載したのがHGX H100となる。そのHGX H100にCPUやNetwork、Storageなどを追加したのがDGX H100である。

Radeon Instinct MI250で採用されたOAMと似たサイズであるが、Radeon Instinct MI250は2ダイで700W。一方こちらは1ダイで700Wである。いろいろな意味ですさまじい

性能の横の6Xや3Xは、AmpereベースのHGX A100との比較である

上の画像では黒いカバーがかかっているが、その下にはこんなクーラーが搭載されているそうだ

演算性能そのものはHGXもDGXも変わらない。これは別にHopperだけでなく以前もそうである