ロードマップでわかる！当世プロセッサー事情 第613回

2021年春の半導体会議で判明した新情報　AIプロセッサーの昨今

AIプロセッサーの性能比較

　これまでけっこうな数のAIプロセッサを紹介してきたが、ほとんどのケースで「当社の○○は△△社の××と比較してn倍の性能」とか「ピーク性能×××TOPS」みたいな表記である。基準がないというのが1つの理由であり、それもあってMLCommonsという業界標準団体がMLPerfという標準ベンチマークを策定中である。

　今年4月21日にはMLPerf Inference 1.0がリリースされ、すでにそれなりの数のベンチマーク結果が登録されてはいるのだが、クラウドあるいはエッジ向けはともかく、MCU上で動くような小さなものにはあまり適さないという問題はまだ残っている。過去に紹介した例で言えば、FlexLogicなどがそうで、ここはダイサイズあたりのスループットという、これはこれで類を見ない基準で性能をアピールしている。

　この問題について、今回初日に行なわれたEdge AI向けで2社がまったく同じ主張をしているのが少しおもしろかった。まずはexpedera。ピークのTOPS性能だけを見ても仕方がないし、そもそも内部の利用率や周辺回路を含めたシステム全体の消費電力、チップの価格なども関係してくるとした上で、IPS(推論性能:回数/秒)を消費電力で割った、IPS/Wを判断基準にすべきだ、と主張している。

これを言い始めると「ではどのネットワークをを使うか」で議論になる。結果、SPEC CPUのように、複数のネットワークにおける性能を幾何平均で算出したりして、これまた現実離れしていくわけだ

外部のDRAMを使うチップの場合、IPS/Wも加味しないと公平とは言えないので、この主張そのものには一理あるのは事実

　ちなみにベンチマークはResNet-50を使うのが一般的としたうえで、おおむね550IPS/Wあたりに性能の壁がある、とexpederaは説明している。

ResNet-50が(特にベンチマークに)広く使われているのは事実だが、基準にするには軽すぎないか？　という気がする

　ほぼ同じ主張をしたのは、expederaの次に説明したHailoだ。通常AIチップの市場は以下の3つを使うことが多い。

• X:TOPs(ピーク性能)
• Y:TOPS/W(ピーク性能をTDPで割った、性能効率)
• Z:ResNet-50のフレームレート

これはMLPerf 0.5の結果を示したもの。ちなみにMLPerfでは消費電力の記録があるもの(Close-Power/Open-Power)とないもの(Close/Open)があり、ない方が圧倒的多数なのも困ったもの

　TOPs/Wは良く使われてはいるが、そもそもそのTOPsはピーク性能であることが多く、現実的ではないとした上で、それよりはフレームレート(つまり毎秒の推論数)を消費電力で割った、FPS/Wが良い指標になるとしている。

例えばResNet-50の場合でも、結果はフレームレートとしてしか出てこない(1回の推論に要した時間で測るしかない)が、ここから正確なTOPsを算出するのは困難である。であれば実際の推論数/Wの方が現実的で意味があるというわけだ

　expederaとHailoがどちらもResNet-50の「消費電力1Wあたりの推論性能」で比較しよう、とまるで申し合わせたかのように主張するのはなかなか興味深い。ということは同じように考えているメーカーは他にもいるかもしれないわけで、今後登場する製品やすでに登場している製品のマーケティングに多少影響を与えるかもしれない。

　ただIPベンダーの場合、最終的な性能は当然どのプロセスでどのくらいの動作周波数で動かすかによって変わってくる。かつてARMがやっていたように、「WWW社のXXXプロセスで、動作周波数YYYだとZZZ IPS/Wになる」というようなアピールの仕方になるのだろうか？