カード1枚あたりの性能はNVIDIAにはかなわないが
消費電力が低いのでNVIDIAより圧倒的に高効率
ここからは性能の話だ。性能を何で比較するのが公平か? に関しては連載613回でも少し触れたが、IPS/Wを採用する方向のベンダーが次第に増えつつある。Qualcommもその方向性ではあるのだが、HotChipsではその前段階としてTOPs/Wの数字が示された。
数字が3種類あるのは、もともとCloud AI 100には連載583回で紹介したように3種類のSKUが存在し、それぞれ異なるTDP(15W/25W/75W)になっているためだ。これは別にCloud AI 100に限った話ではなく、それこそCore iやRyzenなども同じだが、性能効率を上げたければ動作周波数を落とした方が効果的である。
動作周波数が低い時にはかなり動作電圧を落とせるが、あるところから先は動作周波数の上がり方より電圧の上がり方が急になる。消費電力は電圧の2乗に比例することを考えれば、一番動作周波数が低いと思われるDM.2eタイプのものが一番効率が良いのは当然だ。
とはいえ、実シリコンで10TOPs/Wを超えたというのはなかなかインパクトのある話である。もう少し現実的な数字として、推論についてIPSおよびIPS/Wを示したのが下の画像だ。
バッチサイズと性能の関係が下の画像であり、Qualcommが提供するAIMET(AI Model Efficiency Toolkit)というツールを利用してネットワークを圧縮した場合の性能向上率と精度の悪化率をまとめたのがさらにその下の画像となっている。
これらの数字はMLPerf 1.0ベースでの結果であり、数字そのものはかなり優秀な部類に入るのだが、MLPerf 1.0はそもそも結果があまり集まっていないこともあって、今一つそのすごさが伝わりにくかった。
そこで、MLCommonsがMLPerf 1.1の結果を発表したのに合わせ、QualcommもそのMLPerf 1.1に関するサマリーを公表している。ちなみにMLPerf 1.1はデータセンター向けとエッジ向けの、しかも推論のみが公開されている。昔のロードマップでは、推論に先駆けて学習向けが先に実施される予定だったはずだが、少しずれた格好だ。
このMLPerf 1.1で、QualcommはNVIDIAを非常に強く意識した説明をした。ここではTOPs/Wではなく、IPS/W(Inference Per Second/W)を意識した結果になっており、NVIDIAの製品と比較して圧倒的に効率が良いとしている。
下の画像が実際にMLPerf 1.1に登録された数字である。
この連載の記事
-
第775回
PC
安定した転送速度を確保できたSCSI 消え去ったI/F史 -
第774回
PC
日本の半導体メーカーが開発協力に名乗りを上げた次世代Esperanto ET-SoC AIプロセッサーの昨今 -
第773回
PC
Sound Blasterが普及に大きく貢献したGame Port 消え去ったI/F史 -
第772回
PC
スーパーコンピューターの系譜 本格稼働で大きく性能を伸ばしたAuroraだが世界一には届かなかった -
第771回
PC
277もの特許を使用して標準化した高速シリアルバスIEEE 1394 消え去ったI/F史 -
第770回
PC
キーボードとマウスをつなぐDINおよびPS/2コネクター 消え去ったI/F史 -
第769回
PC
HDDのコントローラーとI/Fを一体化して爆発的に普及したIDE 消え去ったI/F史 -
第768回
PC
AIアクセラレーター「Gaudi 3」の性能は前世代の2~4倍 インテル CPUロードマップ -
第767回
PC
Lunar LakeはWindows 12の要件である40TOPSを超えるNPU性能 インテル CPUロードマップ -
第766回
デジタル
Instinct MI300のI/OダイはXCDとCCDのどちらにも搭載できる驚きの構造 AMD GPUロードマップ -
第765回
PC
GB200 Grace Blackwell SuperchipのTDPは1200W NVIDIA GPUロードマップ - この連載の一覧へ