カードを増やせば16枚までは性能が上がるが
17枚以上の構成に課題が残る
さて、このあたりからいろいろ話がややこしくなる。下の画像は、実際の構成に近い。つまりQualcommは8~16枚のカードを、NVIDIAのものは8~10枚のカードをそれぞれ装着した場合の推論性能を比較したものだ。
Qualcommの場合、PCIeがx8になっているので、1P/2PのEPYCサーバーでは最大16枚の装着が可能である。カード1枚あたりの絶対性能そのものは前述の通りNVIDIA A100には敵わない。その一方で、同じPCIeバスなら2倍のカードが装着できるし、TDPはモジュールタイプのA100が最大500Wに達するのに対し、Cloud AI 100は75Wなので、2倍の枚数を装着しても消費電力は10分の3という計算になる。
問題は枚数を増やした時に、どの程度性能が上がるかという話であるが、Qualcommのテストによればさすがに完全に直線というわけではないにしても、かなり上昇するとしている。
また消費電力が比較的低いのも特徴である。下の画像は16枚および8枚のシステムの性能と消費電力の比較であるが、ここで水色に塗られている部分が他のシステムと比較して優れている結果を出したものである。
この結果は、BERT-99やBERT-99.9などの自然言語処理では性能が今一つ(少なくとも最高速ではない)という数値であるが、このクラスになるとコアあたり9MBではネットワークが乗り切らないあたりが敗因なのかもしれない。
Edge Server/Edge Deviceにおける結果をまとめたのが下の画像だ。Edge Serverは5枚のPCIeカード、Edge Deviceの方はDM.2eないしDM.2での結果だが、PCIeの方はともかくDM.2/DM.2eの方は他を圧倒する結果になっており、その意味では当初の開発キットがEdge Deviceをターゲットとしたことの正しさがよくわかる。
スライド自体はもう何枚かあるが、あまり重要ではないので割愛する。ここはQualcommが実シリコンでその性能を示したことが大きなポイントである。少なくともNVIDIAのエッジ向けであるAGX XavierやXavier AXと比較すると数倍の性能差があり、これは乗り換えには十分な動機になりえる。
その一方でサーバー側で言えば、確かに性能/消費電力比では確かにNVIDIAよりだいぶ良いように見えるが、その一方で絶対性能そのものはあまり大きな差とは言いにくいあたりは、既存のNVIDIAベースのソリューションを突き崩すにはやや弱い感じもある。
とりあえずQualcommはまずEdge Deviceに注力しつつ、あわよくばサーバー側も、といった感じなのだろう。ただ現状では17枚以上の構成はソフトウェアフレームワーク的に対応できないあたりが難点であり、このあたりをもう少しどうにかして、もっと大規模に性能を向上させる方策を見つけないと、サーバー向けには厳しそうだ。
この連載の記事
-
第764回
PC
B100は1ダイあたりの性能がH100を下回るがAI性能はH100の5倍 NVIDIA GPUロードマップ -
第763回
PC
FDD/HDDをつなぐため急速に普及したSASI 消え去ったI/F史 -
第762回
PC
測定器やFDDなどどんな機器も接続できたGPIB 消え去ったI/F史 -
第761回
PC
Intel 14Aの量産は2年遅れの2028年? 半導体生産2位を目指すインテル インテル CPUロードマップ -
第760回
PC
14nmを再構築したIntel 12が2027年に登場すればおもしろいことになりそう インテル CPUロードマップ -
第759回
PC
プリンター接続で業界標準になったセントロニクスI/F 消え去ったI/F史 -
第758回
PC
モデムをつなぐのに必要だったRS-232-CというシリアルI/F 消え去ったI/F史 -
第757回
PC
「RISC-VはArmに劣る」と主張し猛烈な批判にあうArm RISC-Vプロセッサー遍歴 -
第756回
PC
RISC-Vにとって最大の競合となるArm RISC-Vプロセッサー遍歴 -
第755回
PC
RISC-Vの転機となった中立国への組織移転 RISC-Vプロセッサー遍歴 -
第754回
PC
インテルがCPUの最低価格を82ドルに引き上げ、もう50ドルでは売れない製造コスト問題 インテル CPUロードマップ - この連載の一覧へ