サポートされる命令は極小
プログラムも独自仕様
下の画像がTSPでサポートされる命令のすべてである。サポートされる命令はご覧の通り非常に少ない。だからこそ個々のTileを小さくまとめられるという話でもあると思うが。
こういう特異な構成なので、プログラムも当然独自のものが必要となる。そもそもStreamを前提としているあたりで、通常のプログラミングモデルがまったく利用できないのは当たり前ではある。
もちろんGroqからはソフトウェアフレームワークというか、ソフトウェアスタックが提供されるとしているが、現状まだ十分にそろってるとは言い難いように思える。このあたりは今後の課題だろう。
インテルのHabana GOYAやNVIDIAのV100を
はるかに上回る圧倒的性能
このGroqのTSPが、以前から話題になっていたのはその性能の高さである。下の画像は、縦軸が応答時間(Latency)、横軸が毎秒の画像処理枚数である。テストそのものはResNet-50での結果であるが、圧倒的に高い数字を叩き出しているのがわかる。
連載575回で、インテルが買収したNervana Systemsのリソースを全部捨てて、代わりにHabana Labsを買収しなおしてこちらを中核に据えたという話をしたが、そのHabana LabsのGOYAと比較しても性能は圧倒的である。
今年1月にMicroProcessor ReportがGroqのTSPを報じた際の数字で言えば、NVIDIAのV100が1.5GHz駆動で250TOPSとされるのに対し、TSPは1GHz駆動で820TOPSの性能になるとされていた。
実際上の画像でもわかるが、V100ではResNet-50での処理性能は最大でも7907枚/秒、GOYAでも1万5453枚/秒なのに対し、TSPは2万400枚/秒に達するとしている。
ちなみにここまでのスライドは、今年4月に開催されたLinley Processor Conferenceで発表されたもので、まだA0シリコンということもあって動作周波数は控えめ(前述のダイ写真では900MHzで750TOPSとされる)だったが、その後改良を重ねたようで、現在は公式に1.25GHzで1PetaOPS/秒、FP16で250TFLOPSという処理性能に引き上げられている。
Groqのメリットは、外部にメモリーを置かないで内蔵SRAMだけでカバーすることで、220MBという相対的に大容量のメモリー容量と、80TB/秒という強烈なメモリー帯域を両立できたことである。もっともその代償が268億個のトランジスタと725mm2という巨大なダイサイズになる。
ただ、それこそHabanaのGAUDIなどと異なり外部にHBM2を搭載したりしないし、14nmを使って725mm2なので、同じ性能で良ければ7nmに移行すればダイサイズは半分近くに抑えられるだろう。
もっとも、AI業界はだいたいダイサイズを縮めずに、その分演算ユニットとメモリー容量を増やす方向に走りがちである。したがって、仮に7nmに移行すると500MB弱のオンチップSRAMと、40本のSuperLaneを持ち、2Peta OPS/秒の性能を持つ製品が登場しそうではある。
4月以降のGroqは、6月に開催されたISCA(International Symposium on Computer Architecture)でTSPの内部構造に関して論文を発表したくらいであまり動きがない。
ただ今年9月末~10月にかけて開催される2020年のAI Hardware Summitに、再びゴールドスポンサーとして参加しており、なにかしらの話がここで出てくるものと期待されている。
また今年10月末に開催されるLinley Fall Processor Conference 2020でも、“Delivering Machine Learning at Scale”というタイトルの講演が用意されており、ここでもう少し細かい話が出てくるかもしれない。
AI向けチップというのは、たとえInference(推論)向けであっても、やっぱりお化けのようなチップになるという一つの例であろう。
この連載の記事
-
第767回
PC
Lunar LakeはWindows 12の要件である40TOPSを超えるNPU性能 インテル CPUロードマップ -
第766回
デジタル
Instinct MI300のI/OダイはXCDとCCDのどちらにも搭載できる驚きの構造 AMD GPUロードマップ -
第765回
PC
GB200 Grace Blackwell SuperchipのTDPは1200W NVIDIA GPUロードマップ -
第764回
PC
B100は1ダイあたりの性能がH100を下回るがAI性能はH100の5倍 NVIDIA GPUロードマップ -
第763回
PC
FDD/HDDをつなぐため急速に普及したSASI 消え去ったI/F史 -
第762回
PC
測定器やFDDなどどんな機器も接続できたGPIB 消え去ったI/F史 -
第761回
PC
Intel 14Aの量産は2年遅れの2028年? 半導体生産2位を目指すインテル インテル CPUロードマップ -
第760回
PC
14nmを再構築したIntel 12が2027年に登場すればおもしろいことになりそう インテル CPUロードマップ -
第759回
PC
プリンター接続で業界標準になったセントロニクスI/F 消え去ったI/F史 -
第758回
PC
モデムをつなぐのに必要だったRS-232-CというシリアルI/F 消え去ったI/F史 -
第757回
PC
「RISC-VはArmに劣る」と主張し猛烈な批判にあうArm RISC-Vプロセッサー遍歴 - この連載の一覧へ