ロードマップでわかる！当世プロセッサー事情 第804回

AI向けシステムの課題は電力とメモリーの膨大な消費量　IEDM 2024レポート

チップの上に直接DRAMを積層することで
メモリー帯域とメモリー容量問題の解決を図る

　2つ目がメモリーの問題。下の画像が従来のメモリー構成であり、Ponte Vecchioなど4階層のメモリーを搭載しているわけだが、そのPonte Vecchioですらメモリー帯域と容量が足りていないので、もう少し別の方法を考える必要がある。

Ponte Vecchioはいろいろな意味で問題が多い構成であったが、設計開始当時に可能な最大限の構成だったことを考えると、もう従来型のメモリー階層構造を踏襲している限り無理、という意味でもある

　そのPonte Vecchioの後に出てきたAI向けプロセッサーが、いろいろな意味で限界までメモリー量とメモリー帯域を引き上げているのを見れば、この方向でもう少し頑張るしかないわけだ。

厳密に言えばCerebrasのWSEは2019年リリースなのでPonte Vecchioの前になる。こちらは容量こそ44GBと少ない(のでMemoryXの併用が必須である)が、帯域が桁違いである

　一番考えやすいのは、さらにHBMのスタックを積み上げる(＝容量を増やす)とともに信号を高速化するなどで帯域を引き上げることだが、これは言ってみれば小手先の改良であって、大きく性能を改善する助けにはならない。

信号速度の高速化はただでさえ大きなHBMの消費電力をさらに引き上げることになるし、積層にも限界がある。消費電力だけでなく熱の問題もそろそろ大きくなってきているからだ

　この方面に関して明確な解が示されているわけではないのだが、1つのアイディアとして示されたのがStacked Embedded DRAMである。要するにチップの上に直接DRAMを積層するというアイディアだ。

Stacked Embedded DRAM。ダイアモンドを利用した放熱層を挟むことで、温度低下が可能というトライアルもある(右図)が、これはもう少し実現には時間を要しそうだ

　実はこれ、連載798回で取り上げたMN-Core 2の後継であるMN-Core L1000で実装されようとしている。

MN-Core L1000

　要するにHBMの消費電力が多いのは、インターポーザー経由になっている(つまり先の話で言えばFan Outでの接続になる)部分が少なからず関係する。つまり、DRAMをHybrid Bondingで接続するようにすれば、信号速度を控えめにしても帯域が確保しやすく(これは配線の本数を大幅に増やせるから)、またHybrid Bondingだからインターコネクトの電力も低く抑えられる。

　チップの上のDRAM積層に関しては、MN-Coreのアーキテクトである牧野淳一郎博士のXへのポストがなかなか興味深い。

DRAM 3 次元実装についての牧野の https://t.co/kvYWywQzrq 19年前の文章

— Jun Makino (@jun_makino) December 11, 2024

　これは、Hybrid Bondingを使う限り熱抵抗が大幅に減るので、DRAMをチップの上に載せても放熱に問題が出にくい、という話である。理屈はわかるのだが、それはロジックダイの発熱が穏当なものの場合だろう。

　これがH200や、身近なところではCore Ultra 9でもいいのだが、要するに90度以上で連続動作するような状態ではDRAMの記憶保持時間が相当短くなりそうで心配である。したがってこの手法は、ロジックダイ側の動作周波数を相当低く抑えるか、液冷などで強制的に50～60度に抑え込む必要がありそうではあるが、1つの可能性ではあるかと思う。

　コストを度外視すればSRAMを大量に3D実装という選択肢もありそうだが、これは本当にコストが論外になりそうではある。