ロードマップでわかる！当世プロセッサー事情 第599回

人間の脳のように動くTenstorrentのプロセッサーGrayskull　AIプロセッサーの昨今

120のTensixコアを搭載するGrayskullは
他社を圧倒するアプリケーション性能

　Tenstorrentは2019年に、小規模(6 Tensix)なJawbridgeを製造する。これはあくまでもテスト向けという感じである。ここである程度うまくいったと判断されたのだろう。2020年に製造されたのがGrayskullである。こちらはGlobalfoundriesの12LPで製造され、12×10で120のTensixコアを搭載する構成である。

ちなみにWormholeの図はおそらく正確ではない(Tensixコアの数はもっと多くないとおかしい)。Tenstorrent自身、まだWormholeの詳細なスペックは公開していないので、この図はイメージであろう

　Glayskullのスペック、MicroProcessor Reportによれば以下のように発表されている。

Glayskullのスペック
コア数	120
動作周波数	最大1.3GHz
ピーク性能	Int 8で368TOPS、FP16で92TFlops
オンチップメモリー	120MB
外部メモリー	LPDDR4×8ch、132GB/sec
I/F	PCIe Gen4×16
ダイサイズ	620mm2

　おもしろいのはこのピーク性能は競合製品と比較するとそれほど高くないのだが、実際のアプリケーション性能では圧倒している、という話である。TensTorrentのページによれば以下の数字が記されている。

Glayskullの性能
Resnet-50, 224x224	22431 IPS(Images per second)
BERT base, SQUAD	2830 sentences/sec
BERT base, SQUAD+conditional features	10150 sentences/sec
BERT base, SQUAD+conditional features+low prec FP	23345 sentences/sec

　このResNet-50の数字で言えば、上のMicroProcessor Reportに示されたものだと以下の数字が示されている。

競合製品との比較
メーカー/製品名	Tenstorrent Grayskull	Groq TSP	NVIDIA Titan RTX
Peak Int8 Perf.	368 TOPS	820 TOPS	261 TOPS
ResNet-50 Perf.	22431 IPS	20400 IPS	17400 IPS
ResNet-50 Efficiency	23%	11%	24%
Board Power(TDP)	75W	300W	280W
ResNet-50 Perf/W	393 IPS/W	68 IPS/W	62 IPS/W

　Groqは連載582回で紹介したが、絶対性能という点でも性能/消費電力という点でもGroqのTSPを上回る性能を発揮するというのがTenstorrentの説明である。

　カタログのピーク性能でははるかに高いTSPがGrayskullに追いつけないのは、その効率(ResNet-50 Efficiency)が11%と低いからで、Grayskullはほぼ倍の23%という効率を示しているのがポイントである。

　もっともTitan RTXも24%と決して効率は低くなく、その意味では今後GrayskullというかTensixそのものがもう少し効率を高められるかどうかが1つの鍵になるわけで、おそらくKeller氏が取り組むのはより効率を高められるハードウェアであろう。

すでに評価ボードは大手顧客に渡っているとのこと(“Received it in out lab in December”は2019年12月のことである)

　ちなみにTensTorrentは同社の製品をHyperscale Data Center(銀行やファイナンシャルサービス、インフラ業、XaaS、エネルギーサービスなど)やNear Edge Data Center(コンテンツ配信やメディア配信、5Gテレコミュニケーション、Virtual RAN/スモールセル)、Micro Edge Data Center(自動車を含むモビリティ、スマートシティ/IoT、スマートリテール)などをターゲットとし、“One Architecture, All workloads”を標榜している。

ARMなどの言う“One size doesn't fit all”をどう考えているか聞いてみたい気もする

　今年はより規模の大きなWormholeも(順調にいけば)登場するはずで、Trainingの市場をどこまで握れるのか興味ある部分だ。下世話な話をすればKeller氏を招聘したことで、これまで門前払いを喰らっていた顧客にも話を聞いてもらえるようになる可能性は高く、そうした顧客を掴めるかどうか、今年は同社にとっても正念場なのかもしれない。