ロードマップでわかる！当世プロセッサー事情 第864回

なぜAMDはチップレットで勝利したのか？ 2万ドルのウェハーから逆算する経済的合理性

　今回は少し毛色を変えて将来のチップレットについての話だ。IEDM 2025のショートコースで発表されたAMD FellowのNuwan Jayasena博士による"Memory-Centric AI Architecture through Advanced Packaging and Heterogeneous Integration"の内容をご紹介したい。話としてはInstinct MI300Xが中心になるのだが、なぜInstinct MI300X？という話は最後に説明する。

Instinct MI300X

SRAMかDRAMか？ AIプロセッサーにおけるメモリー選択のジレンマ

　LLMにしても生成AIにしても、昨今のAI処理はとにかくメモリーの利用量が半端ないという話はご存知の通り。これはWeightの数がすさまじいからで、このWeightをどうやってローカルのRAMに押し込むかで性能が大きく変わることになる。

入力されたトークンに対応するトークンは、デコードのどの段階で出てくるかはケースバイケースであるが、とにかく煩雑にWeightを参照する

　このRAMをSRAM主体にするか、DRAM主体にするかというのが次の問題。一般論としてAIプロセッサーはSRAM主体が多く、GPU系はDRAM主体となる。どちらが良いかは実装に関わってくる問題であるのだが、最近はLLMにおけるWeightの数の急増により、DRAM主体がやや優勢である。

DRAM混載プロセスは20nm世代が最後になっており、今は(積層するにしても)別チップの形になる。それもあってAIアクセラレーターの中にはSRAM主体で実装、というものが少なくない。こうしたケースでは当然WeightはSRAMに格納される

　といってもスケーリングさせないとどちらも1つのプロセッサーだけでは処理できないので、結局スケールアップないしスケールアウト(これも議論がいろいろあるがここではおいておく)の形で複数のプロセッサーをつないで処理を分担する格好になる。

一般論としてSRAM主体の方がプロセッサーあたりのメモリー量が少ないので、同じ数のWeightを格納するのに必要となるプロセッサーの数が増えるのは否めない

　ちなみにプロセッサーの消費電力の内訳が下の画像である。AMDなので当然モデルはInstinct MIシリーズのものと思うが、全体の半分強がGPU+HBMで、残りはその他ということになる。

CPU+DRAMが全体の1割にも達していない(5%くらい?)というあたりに、あまりCPU性能を上げてもそれほど性能が向上しない様子がうかがえる。あとCoolingがシャレになっていない