一週開いてのAIプロセッサーだが、今回はCompute-in-Memoryタイプのプロセッサーの話だ。Compute-in-Memoryというと連載591回で紹介したMythicが出てくるが、ここはフラッシュメモリーをそのままアナログ演算器として使うという、分類としてはアナログコンピューターに分類される(そう分類せざるを得ない)構造で、その意味では他と比較できない製品である。
対して今回紹介するのはもっと力業である。今年2月16日、Samsung Electronicsはプレスリリースを出し、HBM(High Bandwidth Memory:高帯域幅メモリー)にAIプロセッサーを組み込んだHBM-PIM(Processing-In-Memory)を開発したことを発表した。このHBM-PIM、今年のISSCC(International Solid-State Circuits Conference:半導体業界最大級の国際学会)でその概略が紹介されたので、これをもとに説明しよう。
プロセッサーが消費電力を費やすのは
6割が演算で4割がデータアクセス
Mythicの時にも説明したが、現在のプロセッサーにおいて少なくない消費電力を費やしているのは、演算ユニットそのものではなくデータアクセスである。下の画像はArmがEthos-N57の発表に先立ち、まだProject Trilliumとして説明されていたころの説明資料である。
機械学習における推論処理を行なうにあたって、全体の6割がプロセッサーそのもので、2割が重み(Weight)を格納するデータアクセス、残りがアクティベーションのためのアクセスに費やされているとしている。
実はAIプロセッサーの場合、相対的に演算処理の比率が高い。なにせ処理がほぼ固定されており、また演算データ量が相対的に少ない(推論では8bit幅ということも多い)ため効率が上がるという話であり、これが倍精度のFPUなどになると演算処理に費やす消費電力と同等以上をデータアクセスに費やすという報告もあったりする。
これはDRAMから遠い所に演算器があるから悪い、という話でもある。要するにDRAM Cell→DRAMチップ内のI/F→ホストへの配線→ホスト側DRAM I/F→内部バス→プロセッサーのデータキャッシュ→レジスターファイル、という遠い道のりを経てDRAMのデータをプロセサーで扱えるようになるから、それは消費電力が増えるのも無理もない。
ArmのEthosの場合は、このDRAMアクセスへの消費電力の多さ、それとレイテンシーを嫌って大容量のSRAMを突っ込んでカバーした形だ。これはCerebras SystemsのWSEなども同じで、AIプロセッサーとしては定番であるのだが、これの欠点はエリアサイズの肥大化である。
そもそもDRAMの場合、1bitの記録にはトランジスタ1個で済むのに対し、SRAMは最低でも4個(ただ4T SRAMは信頼性などの問題もあるため、通常は6つ以上のトランジスタを使う)必要になる。同じサイズの容量を確保するのに、DRAMに比べて最低4倍(実際には6倍以上)の面積を喰う格好だ。DRAMとSRAMで製造プロセスが異なる(SRAMの方が微細化できる)ことを考えても、まだ2~3倍の差は軽くある。
加えてDRAMの場合は大量生産に特化しているためコストそのものは安いが、SRAMは(特にAIプロセッサー向けの先端プロセスの場合)、結構なコストになる。容量あたりのコストを比較すると、SRAMはDRAMよりもおそらく1桁上がることになるだろう。このコスト面の不利さをどう補うか、がテクニックの見せどころになっていたわけだ。
この連載の記事
-
第772回
PC
スーパーコンピューターの系譜 本格稼働で大きく性能を伸ばしたAuroraだが世界一には届かなかった -
第771回
PC
277もの特許を使用して標準化した高速シリアルバスIEEE 1394 消え去ったI/F史 -
第770回
PC
キーボードとマウスをつなぐDINおよびPS/2コネクター 消え去ったI/F史 -
第769回
PC
HDDのコントローラーとI/Fを一体化して爆発的に普及したIDE 消え去ったI/F史 -
第768回
PC
AIアクセラレーター「Gaudi 3」の性能は前世代の2~4倍 インテル CPUロードマップ -
第767回
PC
Lunar LakeはWindows 12の要件である40TOPSを超えるNPU性能 インテル CPUロードマップ -
第766回
デジタル
Instinct MI300のI/OダイはXCDとCCDのどちらにも搭載できる驚きの構造 AMD GPUロードマップ -
第765回
PC
GB200 Grace Blackwell SuperchipのTDPは1200W NVIDIA GPUロードマップ -
第764回
PC
B100は1ダイあたりの性能がH100を下回るがAI性能はH100の5倍 NVIDIA GPUロードマップ -
第763回
PC
FDD/HDDをつなぐため急速に普及したSASI 消え去ったI/F史 -
第762回
PC
測定器やFDDなどどんな機器も接続できたGPIB 消え去ったI/F史 - この連載の一覧へ