SRAMはコスト面で実用的でない
そこでHBMにAIプロセッサーを組み合わせる
データアクセスにかかる消費電力の話をしたところでHBM-PIMに話を移そう。Samsungはこうした問題に対し、HBMにAIプロセッサーを組み合わせるという荒業で回答を出した。もともとHBMは、複数のDRAMセルが内蔵されているダイを、HBMのI/Fが搭載されたダイに積層する形で実装されており、それもあって通常のDRAMに比べるとレイアウトにゆとりがある(とは言え、DRAMセルの容量は半減しているが)。
下の画像で左が通常のHBMの構成だが、内部は全部で32バンク(Pseudo Channelが2つあり、それぞれにBank 0~15が属する格好)であるが、そのバンクに挟まれた部分にI/O Controlの領域が結構広めに取ってある。
SamsungはこのI/O Controlの領域にPCU(Programmable Computing Unit)と呼ばれる演算エンジンを挟み込んだ。このPCUは隣接する2バンクのDRAM領域にしかアクセスできないという制約はあるが、逆に言えばこの2バンクに対してのみは最小のペナルティーでアクセスが可能とも言える。したがって局所的な演算のみに割り切って使えば、効果的に利用できるわけだ。
DRAMとPCUが混在している構造なので、これを動かすためにはI/F側にも工夫が必要になっている。まずHBMで言えば一番下、HBM I/Fが搭載されているダイに、新しくFIM Controllerが追加される。このFIM Controllerの役割は、CMD Busから送られてくる命令(とアドレス)を解釈し、それがFIMモードの場合にはPCUを動かし、そうでない場合には通常のDRAMセルへのアクセスとする、という制御をする。
さすがにHBMに新たに信号線を追加するわけにはいかないので、CMD Busを拡張してFIM用の命令を追加することになる。CMDの命令定義に新しくFIM用のものを追加すると、以下のような動作になる。
- 通常のメモリーアクセス時にはDRAMとして振る舞う
- FIMモード時にはDRAMではなくプロセッサーとして振る舞う
PCUは隣接する2バンクのDRAM領域のみアクセスできると前述したが、その具体的なアクセスモードが下の画像だ。
ノーマル、つまり通常のHBMとして振る舞う場合は、RA13の信号に関わらず、DRAMセルから読み込む(RD)か、DRAMセルに書き込む(WR)しか処理がないが、FIMモードでは、以下の3種類の動作が可能になる。
- (ホストから)PCUのレジスターに書き込み
- PCUのレジスターからDRAMセルに書き込み
- DRAMセルからPCUのレジスターに読み込み
これで、DRAMセルから値を読み込み、処理後に結果をDRAMセルに書き戻す作業が可能になる。このあたりが自動でないのは、一発で処理が終わる場合もあれば、計算結果をDRAMセルに書き戻す前に次の処理をする場合もあり得るので、全自動にするとむしろ都合が悪いためだろう。このあたりはホストの方からきめ細かく管理してやる必要があるわけだ。

この連載の記事
-
第811回
PC
Panther Lakeを2025年後半、Nova Lakeを2026年に投入 インテル CPUロードマップ -
第810回
PC
2nmプロセスのN2がTSMCで今年量産開始 IEDM 2024レポート -
第809回
PC
銅配線をルテニウム配線に変えると抵抗を25%削減できる IEDM 2024レポート -
第808回
PC
酸化ハフニウム(HfO2)でフィンをカバーすると性能が改善、TMD半導体の実現に近づく IEDM 2024レポート -
第807回
PC
Core Ultra 200H/U/Sをあえて組み込み向けに投入するのはあの強敵に対抗するため インテル CPUロードマップ -
第806回
PC
トランジスタ最先端! RibbonFETに最適なゲート長とフィン厚が判明 IEDM 2024レポート -
第805回
PC
1万5000以上のチップレットを数分で構築する新技法SLTは従来比で100倍以上早い! IEDM 2024レポート -
第804回
PC
AI向けシステムの課題は電力とメモリーの膨大な消費量 IEDM 2024レポート -
第803回
PC
トランジスタの当面の目標は電圧を0.3V未満に抑えつつ動作効率を5倍以上に引き上げること IEDM 2024レポート -
第802回
PC
16年間に渡り不可欠な存在であったISA Bus 消え去ったI/F史 -
第801回
PC
光インターコネクトで信号伝送の高速化を狙うインテル Hot Chips 2024で注目を浴びたオモシロCPU - この連載の一覧へ