ロードマップでわかる！当世プロセッサー事情 第572回

データフロー方式で成功したCerebras SystemsのWSE　AIプロセッサーの昨今

プロセスを微細化するより
ダイを大きくしたほうが経済的

　なぜWafer Scaleなのか？　同社のブログによれば、要するに「AIはより高い処理性能を求めるようになりつつある。そのためには、よりたくさんのトランジスタが必要になる。通常このためにはプロセス微細化が必要になるが、プロセス微細化は生産コストを除外してもNRE（開発費）が高騰化しており、そろそろ経済的に引き合わなくなっている。

　ならば、プロセスは手頃なところに抑えておいて、ダイサイズを大きくした方がトータルコストを考えれば安くなる」という、これはこれでわからなくはない理屈である。

元データはExtreme Techの記事である。16nmでは設計/検証コストは合計1億ドル程度。これが7nmだと3億ドル、5nmでは5.5億ドルになるとしている

画像の出典は、“Wafer-Scale Processors: The Time Has Come”。

　チップコストは当然跳ね上がる(ウェハーまるまる1枚なので、1枚100万円前後だろうか)が、大量生産するチップはともかく少量となると、そこに載せる開発費の償却分の方が高くつくわけで、同じ性能を実現するなら多少面積を削るよりもダイサイズを広げた方が最終的な製品価格が安くなる、という理屈には一定の説得力がある。

　この議論は後でまた取り上げるとして、内部アーキテクチャーはというのがこちら。実はWSEも、内部はデータフロー・プロセッサーである。理由は後で出てくるのでそちらで説明するとして、内部の演算そのものは一般的なMAC演算を中心にしたものであるが、データ制御用命令も処理できるとしている。

4オペランド命令をサポートしているのも特徴的

画像の出典は、HotChips 31の“Wafer-Scale Deep Learning”（以下、同）

　ちなみに同社はこのコアのことをSLAC(Sparse Linear Algebra Compute:疎な線形代数計算)コアと呼んでいる。WSEの最初のアプリケーションはAI向けだが、AI専門というわけではなく、科学技術計算にも利用できるような色気を見せているわけだ。ただ、それに必要なデータ型(FP32/64)をサポートしているかどうかは現状明らかにされていない。

　ここからはデータフローの話だ。NVIDIAのAmpereについて語った連載563回でSparsityの話に触れたが、昨今のAIでは、ネットワークをいかに絞り込んで簡単にするかが1つのテーマになっている。

厳密に言えばAmpereの話は行列が疎の場合で、こちらはネットワークそのものが疎な場合の話であるが、使わない要素は計算しないという意味では同じことである

　最初にモデルを構築するときは密なネットワークになっていても、そこから最適化して疎なネットワークにすることで、速度の向上やメモリー利用量の削減を図るわけだ。この結果、AIプロセッサーはこの疎なネットワークをうまく扱うことが求められる。

　これは別にWSEに限らず一般的な話である。そしてデータフローの場合、この疎の場合の処理が非常に簡単である。疎、つまりデータが入ってこない、あるいはデータが出ていかない場合、その処理は個々のコアがそもそも動かないからだ。これは連載第568回で説明したWave ComputingのDFPと同じ発想である。

コアの周囲をSRAMで囲み広帯域を確保

　次の問題はメモリーである。外部メモリーは、たとえそれがHBM2であっても遅い。そこで、WSEではコアの周囲をSRAMで囲むという荒業でこれを解決した。要するに全部SRAMである。

外部メモリーがHBM2であっても遅いというのは一般論の話である。ちなみにWSEのSLACコアは、そもそもキャッシュを持たない

　もっともSLACコアは全部で40万個なので、コアあたりで言えば48KBほどになるわけだが、コア40万などになればひとつのコアは1つのウエイトだけ記憶して、後はデータを受け取って送り出すだけなので、これで十分ということだろう。

全体で18GBものSRAMを実装しており、自分の周囲のメモリーには1サイクルでアクセス可能だ。帯域が9PB/秒になるのも当然である

ルーティングはすべてハードウェアベースというのはよくある話である。ちなみに線が5本なのは単にイラストの問題であって、5対の信号線だけでつばがっているわけではない