AIプロセッサーの性能比較
これまでけっこうな数のAIプロセッサを紹介してきたが、ほとんどのケースで「当社の○○は△△社の××と比較してn倍の性能」とか「ピーク性能×××TOPS」みたいな表記である。基準がないというのが1つの理由であり、それもあってMLCommonsという業界標準団体がMLPerfという標準ベンチマークを策定中である。
今年4月21日にはMLPerf Inference 1.0がリリースされ、すでにそれなりの数のベンチマーク結果が登録されてはいるのだが、クラウドあるいはエッジ向けはともかく、MCU上で動くような小さなものにはあまり適さないという問題はまだ残っている。過去に紹介した例で言えば、FlexLogicなどがそうで、ここはダイサイズあたりのスループットという、これはこれで類を見ない基準で性能をアピールしている。
この問題について、今回初日に行なわれたEdge AI向けで2社がまったく同じ主張をしているのが少しおもしろかった。まずはexpedera。ピークのTOPS性能だけを見ても仕方がないし、そもそも内部の利用率や周辺回路を含めたシステム全体の消費電力、チップの価格なども関係してくるとした上で、IPS(推論性能:回数/秒)を消費電力で割った、IPS/Wを判断基準にすべきだ、と主張している。
ちなみにベンチマークはResNet-50を使うのが一般的としたうえで、おおむね550IPS/Wあたりに性能の壁がある、とexpederaは説明している。
ほぼ同じ主張をしたのは、expederaの次に説明したHailoだ。通常AIチップの市場は以下の3つを使うことが多い。
- X:TOPs(ピーク性能)
- Y:TOPS/W(ピーク性能をTDPで割った、性能効率)
- Z:ResNet-50のフレームレート
TOPs/Wは良く使われてはいるが、そもそもそのTOPsはピーク性能であることが多く、現実的ではないとした上で、それよりはフレームレート(つまり毎秒の推論数)を消費電力で割った、FPS/Wが良い指標になるとしている。
expederaとHailoがどちらもResNet-50の「消費電力1Wあたりの推論性能」で比較しよう、とまるで申し合わせたかのように主張するのはなかなか興味深い。ということは同じように考えているメーカーは他にもいるかもしれないわけで、今後登場する製品やすでに登場している製品のマーケティングに多少影響を与えるかもしれない。
ただIPベンダーの場合、最終的な性能は当然どのプロセスでどのくらいの動作周波数で動かすかによって変わってくる。かつてARMがやっていたように、「WWW社のXXXプロセスで、動作周波数YYYだとZZZ IPS/Wになる」というようなアピールの仕方になるのだろうか?
この連載の記事
-
第775回
PC
安定した転送速度を確保できたSCSI 消え去ったI/F史 -
第774回
PC
日本の半導体メーカーが開発協力に名乗りを上げた次世代Esperanto ET-SoC AIプロセッサーの昨今 -
第773回
PC
Sound Blasterが普及に大きく貢献したGame Port 消え去ったI/F史 -
第772回
PC
スーパーコンピューターの系譜 本格稼働で大きく性能を伸ばしたAuroraだが世界一には届かなかった -
第771回
PC
277もの特許を使用して標準化した高速シリアルバスIEEE 1394 消え去ったI/F史 -
第770回
PC
キーボードとマウスをつなぐDINおよびPS/2コネクター 消え去ったI/F史 -
第769回
PC
HDDのコントローラーとI/Fを一体化して爆発的に普及したIDE 消え去ったI/F史 -
第768回
PC
AIアクセラレーター「Gaudi 3」の性能は前世代の2~4倍 インテル CPUロードマップ -
第767回
PC
Lunar LakeはWindows 12の要件である40TOPSを超えるNPU性能 インテル CPUロードマップ -
第766回
デジタル
Instinct MI300のI/OダイはXCDとCCDのどちらにも搭載できる驚きの構造 AMD GPUロードマップ -
第765回
PC
GB200 Grace Blackwell SuperchipのTDPは1200W NVIDIA GPUロードマップ - この連載の一覧へ