HBM2を使う通常のGPUと比較すると
処理性能は2.1倍、消費電力は71%削減
さてそのPCUの処理であるが、命令はわずかに9個。うち演算命令は4個のみである。データ型はFP16に限られており、加算・乗算・乗加算・積和演算のみである。あとはデータのロードや「セーブで、対象はDRAMセルか、他のレジスターでしかない。
畳み込みニューラルネットワークであれば畳み込みの処理「だけ」しかできないので、プーリングやアクティベーションなどはホストに戻して処理する必要がある。ただ逆に言えば、畳み込みに関してはなにしろデータを(CPUに)ロードする必要がない。
例えば最初はノーマルモードとし、奇数バンク(Bank 1/3/5/7/9/11/13/15)には共通の重みデータを格納し、偶数バンクには入力の画像データをロードしておき(ここまではHBMとして動作)、そこからFIMモードに切り替えて1GB分の入力データの畳み込み処理を行ない、その結果をDRAMセルに書き戻す。
その後再びノーマルモードに戻して、畳み込みの結果をまとめてロードすればいい。CPUで順次演算するよりも圧倒的に高速であり、しかも省電力である。

動作の流れ。条件分岐だが、どうやって条件を与えるのかは不明。プログラムそのものは上の画像のCRF(Command-Register File)に最大32命令まで蓄積できるので、それほど複雑なプログラムは実行できない(その必要もないだろう)
ちなみにこのCRF経由で与える命令はCMD Bus経由でロードする形になるので、仮に32命令を超えて複雑なことをしたいと思ったら、まずFIMモードに入って最初の命令群を実行させ、それが終わったらもう一回FIMモードに入って次の命令群をロードして続きをやらせることになる。
論文を読む限りは、すべてのPCUには共通の命令が与えられることになり、一斉に処理する格好になる。なお、前述のHBM構成の画像にあるのは、HBM2の1chあたりの図であるが、実際にはHBM2のダイは2ch構成なので、これが倍になる。
各々のPCUはFP16の乗算×16とFP16の加算×16という2つのSIMDエンジンがつながっている格好なので、実際には1ダイあたり32個のPCUが搭載される。ということは、ダイあたり512wideのSIMDエンジンが2つで300TFlopsという計算になる。実際のHBM-PIMは8スタックであり、その内訳は以下の通り。
- 容量8GbitでPCUを持たないダイ×4スタック
- 容量4GbitでPCUを搭載するダイ×4スタック
トータルとしての容量は6GBで、1.2TFlopsの処理性能を持つメモリーチップの出来上がりである。
HBM2を使う通常のGPUで処理した場合と比較し、この畳み込みをPCUで行なった場合には、処理性能が2.1倍になり、それでいてシステム全体の消費電力は71%削減できたとしている。
なにしろ計算処理で一番多いのが畳み込みだから、ここの性能を改善&消費電力削減できれば、全体への貢献は大きいことになる。製造プロセスそのものは20nmだそうで、2GB分のメモリーの代償としての1.2TFlopsの演算性能は、バーターとしては悪いものではないように思う。
今回のものはあくまでも研究レベルの話で、今すぐこれで製品を実用化できるものではない。研究レベルであれば問題ないが、実際にこれを利用するためには開発環境と稼働環境について、OSレベルから手を入れる必要がある(少なくとも今のLinuxのままでは動作しない)。
ただ、AIプロセッサーの方向性の1つとして、こうしたものは今後も出てくるとは思うが、その極端な例と考えてもらえれば間違いないだろう。

この連載の記事
-
第811回
PC
Panther Lakeを2025年後半、Nova Lakeを2026年に投入 インテル CPUロードマップ -
第810回
PC
2nmプロセスのN2がTSMCで今年量産開始 IEDM 2024レポート -
第809回
PC
銅配線をルテニウム配線に変えると抵抗を25%削減できる IEDM 2024レポート -
第808回
PC
酸化ハフニウム(HfO2)でフィンをカバーすると性能が改善、TMD半導体の実現に近づく IEDM 2024レポート -
第807回
PC
Core Ultra 200H/U/Sをあえて組み込み向けに投入するのはあの強敵に対抗するため インテル CPUロードマップ -
第806回
PC
トランジスタ最先端! RibbonFETに最適なゲート長とフィン厚が判明 IEDM 2024レポート -
第805回
PC
1万5000以上のチップレットを数分で構築する新技法SLTは従来比で100倍以上早い! IEDM 2024レポート -
第804回
PC
AI向けシステムの課題は電力とメモリーの膨大な消費量 IEDM 2024レポート -
第803回
PC
トランジスタの当面の目標は電圧を0.3V未満に抑えつつ動作効率を5倍以上に引き上げること IEDM 2024レポート -
第802回
PC
16年間に渡り不可欠な存在であったISA Bus 消え去ったI/F史 -
第801回
PC
光インターコネクトで信号伝送の高速化を狙うインテル Hot Chips 2024で注目を浴びたオモシロCPU - この連載の一覧へ