今回は少し毛色を変えて将来のチップレットについての話だ。IEDM 2025のショートコースで発表されたAMD FellowのNuwan Jayasena博士による"Memory-Centric AI Architecture through Advanced Packaging and Heterogeneous Integration"の内容をご紹介したい。話としてはInstinct MI300Xが中心になるのだが、なぜInstinct MI300X？という話は最後に説明する。
Instinct MI300X
SRAMかDRAMか？ AIプロセッサーにおけるメモリー選択のジレンマ
LLMにしても生成AIにしても、昨今のAI処理はとにかくメモリーの利用量が半端ないという話はご存知の通り。これはWeightの数がすさまじいからで、このWeightをどうやってローカルのRAMに押し込むかで性能が大きく変わることになる。
入力されたトークンに対応するトークンは、デコードのどの段階で出てくるかはケースバイケースであるが、とにかく煩雑にWeightを参照する
このRAMをSRAM主体にするか、DRAM主体にするかというのが次の問題。一般論としてAIプロセッサーはSRAM主体が多く、GPU系はDRAM主体となる。どちらが良いかは実装に関わってくる問題であるのだが、最近はLLMにおけるWeightの数の急増により、DRAM主体がやや優勢である。
DRAM混載プロセスは20nm世代が最後になっており、今は(積層するにしても)別チップの形になる。それもあってAIアクセラレーターの中にはSRAM主体で実装、というものが少なくない。こうしたケースでは当然WeightはSRAMに格納される
といってもスケーリングさせないとどちらも1つのプロセッサーだけでは処理できないので、結局スケールアップないしスケールアウト(これも議論がいろいろあるがここではおいておく)の形で複数のプロセッサーをつないで処理を分担する格好になる。
一般論としてSRAM主体の方がプロセッサーあたりのメモリー量が少ないので、同じ数のWeightを格納するのに必要となるプロセッサーの数が増えるのは否めない
ちなみにプロセッサーの消費電力の内訳が下の画像である。AMDなので当然モデルはInstinct MIシリーズのものと思うが、全体の半分強がGPU+HBMで、残りはその他ということになる。
CPU+DRAMが全体の1割にも達していない(5%くらい?)というあたりに、あまりCPU性能を上げてもそれほど性能が向上しない様子がうかがえる。あとCoolingがシャレになっていない
本記事はアフィリエイトプログラムによる収益を得ている場合があります
この連載の記事
-
第882回
PC
IBMが0.7nmチップの製造に成功！ 変態的CFET構造NanoStackの凄みと、あまりに高すぎる製造コストの壁 -
第881回
PC
同一周波数で消費電力18%削減！ 進化した「Intel 18A-P」はどこが変わったのか？ -
第880回
PC
次世代NVLinkの布石か？ TSMCの光電融合技術「COUPE」がもたらすAIサーバーの光接続 -
第879回
PC
なぜAIには「光」が必要なのか？ NVIDIAが解説するスケールアップネットワークの低遅延・省電力化戦略 -
第878回
PC
もはや銅配線は限界？ 3200Gイーサネット実現に立ちはだかる200GT/秒の壁 -
第877回
PC
「不良品ゼロ」と「水冷NG」の狭間で。ルネサスが明かした車載チップレットSoCのリアル -
第876回
PC
このままではメモリーが燃える！ HBM4/5世代に向けた電力供給の限界と、Samsungが示すパッケージ協調設計の解 -
第875回
PC
1000A超のAIプロセッサーをどう動かすか？ Googleが実践する垂直給電(VPD)の最前線 -
第874回
PC
AIの未来は「電力」で決まる？ 巨大GPUを支える裏面給電とパッケージ革命 -
第873回
PC
「銅配線はまだ重要か？ 答えはYesだ」 NVIDIA CEOジェンスンが語った2028年ロードマップとNVLink 8の衝撃 -
第872回
PC
NVIDIAのRubin UltraとKyber Rackの深層 プロトタイプから露見した設計刷新とNVLinkの物理的限界 - この連載の一覧へ
