「AI処理のボトルネックは演算ではなく、メモリアクセスにある」。そんなタイトルでインテル主催の「Intel Connection 2024」で講演を行なったのは、東京大学 特別教授の黒田忠広氏だ。AIの課題である電力消費とボトルネックを解消すべく、インテルのような北米企業と日本の企業、アカデミアはいま何をすべきか。黒田氏は持論を展開した。
東京大学 特別教授 黒田忠広氏
GDP比0.6％の第三期成長期に向かうAI時代の半導体産業
Intel Connection 2024のセッションにおいて、スーパーコンピューター富岳プロジェクトのリーダーである松岡聡センター長からマイクを引き継いだのは、東京大学教授で半導体研究者でもある黒田忠広氏だ。最初に説明したのは、半導体産業の成長について。家電で用いられていた程度だった半導体の市場は1990年代はGDP比0.2％程度だったが、PC市場やインターネットが勃興した1995年頃に0.4％にまで拡大する。「仮想空間を作り、さらにそれを持ち運べるようにした価値付けが、さらなる0.2％を生んだ」と黒田氏は指摘する。
そして現在はさらなる0.2％の上乗せを目指す第三期成長期に差し掛かっている。この成長ドライバーとなるのが、「物理空間と仮想空間の高度な融合」という新たな価値付けだ。ビッグデータを物理空間のセンサーで吸い上げ、仮想空間のデジタルツインで高度に計算し、未来を予測するといったソリューション。これが一言で言えばAIであるという。
第3期成長期に向かう半導体産業
これまで日本は物理空間の価値付けに強みを持ち、北米は仮想空間に強かった。そのため、今後「物理空間と仮想空間の高度な価値付け」を実現するには、日本と北米が連携することが不可欠になるという。AIが成長を続け、2030年には約1.1兆ドルの巨大市場が生まれる。「今まで50年くらいかけて作られた市場規模が、これから5年くらいでポンと生まれることになる。AIが巨大市場を作る」（黒田氏）。
フォンノイマンボトルネックは計算資源ではなく、メモリアクセスにある
一方でAIは危機も招いている。ご存じ電力消費の問題だ。「2025年以降、世界の電力需給はひっ迫します。とりわけアジアでの電力消費は急増しています。これは大問題です。これからの国や地域の安全保障は、どれだけ電力を供給できるか、AI半導体をどれだけ省エネにできるかが基礎体力を作っていくということになります」と黒田氏は警鐘を鳴らす。
AIはエネルギー危機を招く
AIサーバーは従来のサーバーに比べて6倍の電力を食うと言われている。その原因の1つがGPUであることは明らかだが、それより大きな電力を食うのは、実はメモリだという。GPUサーバーの電力の内訳を見ると、GPUは確かに全体の30％を占めているが、DRAMへのアクセスはそれより大きい48％の電力を消費している。AIサーバーの電力消費の約半分はメモリだったわけで、今までの常識を覆すデータだ。
内訳としては、DRAMの読み書きは10％程度だが、GPUとDRAM間のデータ伝送で19％、DRAM内のデータ移動で19％の電力を消費している。「みなさんご存じのフォンノイマンボトルネックが顕在化している。データの移動で性能が損失するわけですが、データがビッグデータになり、AIの処理で頻繁に行き来するようになった」と黒田氏は指摘する。
勝負所はGPUではなく、メモリアクセス
たとえば、NVIDIAのH200とH100を比べると、GPUは同じだが、メモリの帯域幅を1.7倍に拡張した結果、推論性能は1.6倍も改善している。「まさにメモリがボトルネックになっているわけです。この話はAIや推論だけでなく、さまざまなHPCのアプリケーションにおいても同じ。ボトルネックは計算資源ではなく、メモリアクセスにあるんです」（黒田氏）。
新しい酒は新しい革袋に盛れ 3D実装の研究開発と量産で世界に貢献しよう
では、どうすればよいか？ 「フォンノイマンボトルネックの細くて長い首を、太くて短くする」ための選択肢は、プロセッサーとメモリの距離を短くすること。具体的には実装を2Dではなく、3D化していくことだ。現在、メモリは別のパッケージとして置かれていた2D実装のDDR-DIMMから、同じパッケージ内にプロセッサとメモリが隣あわせに実装される2.5D実装のHBM-PiMに進化している。これにより、GPUとDRAMとの間のデータ転送のボトルネックを大幅に解消することに成功した。
2D実装、2.5D実装、そして求められる3D実装
しかし、2.5実装ではまだプロセッサーとメモリは隣り合っている状態であり、その間でのデータ転送は存在している。これを解消するために、現在のプロセッサーに上部・下部にメモリを配置し、できる限りデータの移動を排除する3D実装の提案が進んでいるという。ここで立ちはだかるのが熱の問題だ。3Dに実装すると距離は短くなるが、熱が高くなってしまう。パンケーキのようにメモリチップを横に積み重ねると、シリコンの膜が何重にも重なり、熱伝導を妨げてしまう。
これに対して黒田氏は、「たとえば（メモリ）チップを立てたらいいのではと思っている」と提案。もちろん1枚だけ立てるのは難しいが、10枚、100枚重ねれば、熱伝導効率の高い立方体のモジュールとなる。「もちろん、これをパワーポイントで書くのは簡単ですが、ギャップを超えて、量産しようとすると、さまざまな技術や研究開発が必要になります。でも、こうした研究開発の力が日本にはあります。また、量産するための製造装置や材料の技術も日本にはあります。日本は3D実装において、世界に貢献できるチャンスがあると思っています」と黒田氏は力強くアピールする。
メモリチップを縦置きし、熱伝導性を高める施策の提案
第3期成長期を迎えた半導体市場では、物理世界と仮想世界を高度な融合が必要で、それぞれが得意な日本と北米の連携することが重要。さらにAIを活かすには、新しいコンピューティングやパッケージングが必要で、これを実現するための3D実装を進めるために、日本の企業やアカデミアが連携する時代になったと黒田氏は自身の論をまとめる。
「『新しい酒を新しい革袋に盛れ』という言葉がありますが、新しいコンピューティング、AIは新しいパッケージングの3D実装せよ。そういう時代に私たちが世界に貢献できることがたくさんあると期待しています」と会場に語りかけ、講演を終えた。
