ロードマップでわかる！当世プロセッサー事情 第606回

Samsungがついにメモリー内にプロセッサーを統合　AIプロセッサーの昨今

HBM2を使う通常のGPUと比較すると
処理性能は2.1倍、消費電力は71%削減

　さてそのPCUの処理であるが、命令はわずかに9個。うち演算命令は4個のみである。データ型はFP16に限られており、加算・乗算・乗加算・積和演算のみである。あとはデータのロードや「セーブで、対象はDRAMセルか、他のレジスターでしかない。

PCUの命令はわずかに9個。どうもJUMPというのは無条件ジャンプではなく条件分岐の模様だ

　畳み込みニューラルネットワークであれば畳み込みの処理「だけ」しかできないので、プーリングやアクティベーションなどはホストに戻して処理する必要がある。ただ逆に言えば、畳み込みに関してはなにしろデータを(CPUに)ロードする必要がない。

　例えば最初はノーマルモードとし、奇数バンク(Bank 1/3/5/7/9/11/13/15)には共通の重みデータを格納し、偶数バンクには入力の画像データをロードしておき(ここまではHBMとして動作)、そこからFIMモードに切り替えて1GB分の入力データの畳み込み処理を行ない、その結果をDRAMセルに書き戻す。

　その後再びノーマルモードに戻して、畳み込みの結果をまとめてロードすればいい。CPUで順次演算するよりも圧倒的に高速であり、しかも省電力である。

動作の流れ。条件分岐だが、どうやって条件を与えるのかは不明。プログラムそのものは上の画像のCRF(Command-Register File)に最大32命令まで蓄積できるので、それほど複雑なプログラムは実行できない(その必要もないだろう)

　ちなみにこのCRF経由で与える命令はCMD Bus経由でロードする形になるので、仮に32命令を超えて複雑なことをしたいと思ったら、まずFIMモードに入って最初の命令群を実行させ、それが終わったらもう一回FIMモードに入って次の命令群をロードして続きをやらせることになる。

　論文を読む限りは、すべてのPCUには共通の命令が与えられることになり、一斉に処理する格好になる。なお、前述のHBM構成の画像にあるのは、HBM2の1chあたりの図であるが、実際にはHBM2のダイは2ch構成なので、これが倍になる。

　各々のPCUはFP16の乗算×16とFP16の加算×16という2つのSIMDエンジンがつながっている格好なので、実際には1ダイあたり32個のPCUが搭載される。ということは、ダイあたり512wideのSIMDエンジンが2つで300TFlopsという計算になる。実際のHBM-PIMは8スタックであり、その内訳は以下の通り。

• 容量8GbitでPCUを持たないダイ×4スタック
• 容量4GbitでPCUを搭載するダイ×4スタック

　トータルとしての容量は6GBで、1.2TFlopsの処理性能を持つメモリーチップの出来上がりである。

1.2V駆動であれば問題なく2.4Gbps(＝PCUは300MHz駆動)が可能とのことだ

　HBM2を使う通常のGPUで処理した場合と比較し、この畳み込みをPCUで行なった場合には、処理性能が2.1倍になり、それでいてシステム全体の消費電力は71%削減できたとしている。

　なにしろ計算処理で一番多いのが畳み込みだから、ここの性能を改善&消費電力削減できれば、全体への貢献は大きいことになる。製造プロセスそのものは20nmだそうで、2GB分のメモリーの代償としての1.2TFlopsの演算性能は、バーターとしては悪いものではないように思う。

これはPCUありのダイの構成。左がChannel 0、右がChannel 1である

　今回のものはあくまでも研究レベルの話で、今すぐこれで製品を実用化できるものではない。研究レベルであれば問題ないが、実際にこれを利用するためには開発環境と稼働環境について、OSレベルから手を入れる必要がある(少なくとも今のLinuxのままでは動作しない)。

　ただ、AIプロセッサーの方向性の1つとして、こうしたものは今後も出てくるとは思うが、その極端な例と考えてもらえれば間違いないだろう。