ロードマップでわかる！当世プロセッサー事情 第575回

インテルから消えたNervanaと入れ替わったHabana Labs　AIプロセッサーの昨今

AI推論向けプロセッサーを強化すべく
インテルがHabana Labsを買収

　インテルはこのHotChipsの別セッションでは、AI推論向けのプロセッサーであるSpring HillことNNP-Iも発表している。

Spring HillことNNP-I。これはM.2タイプ(演算性能50TOPS、消費電力12W)だが、他にPCIeカードタイプ(170TOPS、75W)も用意されるはずだった

　Spring Hillはおいておくとして、この時点(2019年8月20～21日)では少なくともSpring Crest/Spring Hillを実際に販売するつもりであった。というか、同年11月12日には正式に製品発表までしている。

　ところがその1ヵ月後の2019年12月19日、インテルはHabana Labsの買収を発表する。Habana LabsはやはりAIの学習と推論向けにGOYAおよびGAUDIという製品をリリースしており、Nervanaの製品とどう棲み分けるつもりなのかと話題になったのだが、予想通り今年2月に入ってから、Spring Crestの開発中止を非公式に発表した。

　Spring Hillの方は顧客のデマンドに従う、という話であったが基本打ち切られた製品ラインを好き好んで使う顧客などいないわけで、こちらも事実上の打ち切りである。

　もともとAI推論向けに関して言えば、やはりインテルが2016年に買収したMovidiusというAIプロセッサーのメーカーがあり、ここの推論向けのMyriad 2あるいはその後継のMyriad X VPU(Vision Processing Unit)は広範に利用されている。

　なので、Spring Hillがないと代わりがない、という状況にはならないわけで、それもあってあっという間に市場は関心を失った感じだ。

　ではHanaba LabはHotChipsでなにを発表したかというと、推論向けのGOYAと学習向けのGAUDIという2種類のチップである。

GOYAとGAUDI。もうこの時点でチップが完成しており、その意味ではNervanaと同じ位置にいるともいえる

　まずGOYAの方は推論向けのチップであるが、内部は汎用数値演算のGEMM、AI処理用のTPC(Tensor Processor Core)、それとDMAエンジン/共有メモリーから構成される。

GOYAの概要。拡張用のコネクターがあり、複数枚のGOYAカードを接続するために利用されると思われる

個々の構成の詳細はこの時点では明らかにされていない

　特筆すべきは性能で、Resnet-50を利用した推論性能は、単一のGOYA(HL 1000D)で、NVIDIA T4比で3倍強の処理性能と、25倍ほどの低いレイテンシーが実現できたとする。

もはやCPU(Xeon Platinum 8180)は比較にならない

　またBERTの自然言語解析の処理性能も、NVIDIA T4比でほぼ２倍の処理性能と半分以下のレイテンシーが実現されるとする。

Batch Sizeを長くしてもNVIDIA T4の方は性能があまり変わらないのは少しおもしろい。GOYAの方はレイテンシーは増えるもののスループットも増えている