ロードマップでわかる！当世プロセッサー事情 第614回

ネットワークプロセッサーの技法で高効率化を目指すexpedera　AIプロセッサーの昨今

1Wあたりの推論性能は他社の4倍以上

　さて、話は一転して市場であるが、同社は1～100TOPS以上、というおそろしく広い範囲の市場を一気に狙うことを考えている。もっとも他社製品と異なるのは、それを低い消費電力でカバーするつもりなことだ。消費電力は最終的に動作周波数と、各ユニットに含まれる演算器の数で決まる。

これ全部をターゲットに入れてるのがある意味凄いというか、スタートアップ企業らしい

さすがにFP32やInt32はターゲットに入れてない模様

　Linley Spring Processor Forum 2021の開催に合わせて4月19日にexpederaはリリースを出し、Origin E2/E6/E8という3種類のIPを発表した。それぞれの構成は以下の通り。

expedera社重役の経歴
Origin E2	省電力エッジデバイス向け。2.25K/4.5K/9K INT8 MACsを搭載。畳み込みニューラルネットワークがメイン。INT8/16のみ
Origin E6	スマートフォンを含む広範な用途向け。4.5K/9K/18K INT8 MACsを搭載。同時に2つのネットワークを並行して稼働可能。畳み込みニューラルネットワーク(CNN)と再帰型ニューラルネットワーク(RNN)、それに長短期記憶(LSTM)に対応。INT8/16に加えFP16/BF16をオプションでサポートする
Origin E8	L2/L3自動運転を含む高性能向け。36K/54K INT8 MACsを搭載。同時に8つまでのネットワークをQoS付きで並行して稼働可能。CNN/RNN/LSTMに対応。INT8/16に加えFP16/BF16をオプションでサポート

　ここで言うMACsというのはMatrix Enginesに含まれるMACユニットの数で、Origin E2なら1サイクルあたり最大9000個のMAC演算が可能というわけだ。

　さて、性能として示されたスライドが下の画像だ。前回の画像を受けてのもので、「実シリコンで」2010 IPS/Wを実現した、としている。

expederaの性能

ソースとして示されたリンクは[1]:https://developer.nvidia.com/embedded/jetson-agx-xavier-dl-inference-benchmarks、[2]:https://www.qualcomm.com/media/documents/files/2019-snapdragon-865-5g-ai-deep-dive-ziad-asghar-jeff-gehlhaar.pdf、[3]:https://www.anandtech.com/show/16083/qualcomms-cloud-ai-100-now-in-production-up-to-400tops-at-75wとなっている。[4]:はexpederaのホワイトペーパーへのリンクだ

　実はこのチャート、ホワイトペーパーではもう少し詳細が載っている。

DLAはDeep Learning Acceleratorのこと。要するにNVIDIAのXavierと、QualcommのAI 100、それとArmのEthosが比較対象である

　expederaによれば、同社のテストチップでは2010 IPS/Wであるが、例えばNvidiaのXavierでは実測値で95IPS/W、QualcommのSnapdragon 865では79IPS/Wだったとする。ただこれはDLA以外にSoC全体の消費電力が加味されているのでフェアではない、ということでそれぞれのチップのDLAの部分の消費電力を推定した上で計算したのが上の画像にある結果だとしている。

　Xavierは全体では30Wほどだが、DLAは1.4Wほどの消費電力で、550IPS/Wとなる。QualcommはCloud AI 100の数字から450IPS/W、ArmのEthosの場合、メモリー構成によって性能が200～300IPS/Wの間で変化するとしている。一応expedera的には公平を期した結果というわけだ。なおTOPS/Wでは、18TOPS/Wになるというのがexpederaの主張である。

　ちなみにホワイトペーパーでは、面積あたりの性能も出ている。expederaのテストチップは、TOPSでは1.8 TOPS/mm²で、これはMediaTekのSoCのものより50%高いとしているほか、ResNet-50の結果で言えばテストチップはおおむね189IPS/mm²。対してApple A13は69 IPS/mm²に過ぎないとしている。

　創業2年かそこらで、しかも直近までステルスモードで進んでいたにも関わらず、すでにexpederaはTSMCの7nmプロセスで製造したテストチップが存在しており、4月19日にはIPの提供開始と、評価/ベンチマーク用にこのテストチップの供給も可能であることが発表されている。なんというか、とてもスタートアップ企業とは思えないほどの用意周到さが、expederaの最大の特徴かもしれない。

この写真がOrigin E2/E6/E8のどれにあたるのかは不明。おそらくE2だろう