ロードマップでわかる！当世プロセッサー事情 第572回

データフロー方式で成功したCerebras SystemsのWSE　AIプロセッサーの昨今

　ひさびさにAIプロセッサーの話に戻る。2019年のHotChips 31で、おそらく一番会場を沸かせたのはCerebras SystemsのWSEかと思われる。

WSEを示しながら〆の挨拶を行なうSian Lie氏(創業者兼Chief Hardware Architect)。これ全部で1つのチップである

画像の出典は、講演ビデオ。

　WSEは、TSMCの16FF+で製造された300mmウェハーをまるまる使ったお化けチップである。実はこのチップの話、昨年の8月にもニュースになっているのだが、こちらはあまりにも簡単に済ませているのでもう少しきちんと説明したい。

ダイサイズ4万6255平方mmや1.2兆トランジスタ、40万コアなど、いろいろ数字がインフレし過ぎている気もする。チップ単体でPB/秒という帯域は初めて見た気がする(ちなみに連載570回で紹介した富岳の、システム全体でのメモリーバンド幅が163PB/秒である)

画像の出典は、HotChips 31の“Wafer-Scale Deep Learning”

旧SeaMicroのメンバーが集結し
AI向けプロセッサーを開発

　Cerebres Systemsは2016年の創業であるが、創業メンバーのかなりの部分は、旧SeaMicroのメンバーだった。SeaMicroは、SM10000-XEのように小さなコアを多数つなげて高機能サーバーを作ることを得意とする会社で、Freedom Fabricと呼ばれる独自インターコネクトを特徴としていた。

64個のXeonを10Uラックマウント筐体に凝縮した「SM10000-XE」

　ただSeaMicroは2012年にAMDに買収され、AMDのArmベースサーバーの中核になる予定だった。これが消えたのは結局AMDがOpteron A1100シリーズを発売したのみで後継製品をホールド、Zenコアベースに傾注する方向に行ってしまったからで、それもあってかSeaMicro組は2014～2015年くらいに相次いでAMDを辞職して、再び集まって「なにかやろうぜ」と画策していたらしい。

　このメンバーの中核はCerebres Systemsの現CTOであるGary Lauterbach氏であるが、氏はSeaMicroの前に(一度AMD Fellowにもなっているのだが、さらにその前に)Sun Microsystemsに勤めており、この時DARPA(米国防高等研究計画局)のHPCS(High Productivity Computing Systems：高生産性コンピューティングシステム)というプロジェクトに関わっていた。

　これは2002～2010年にかけてスーパーコンピューターを構築するというもので、最終的にはIBMとCrayの案がこのプロジェクトでは採択されたが、Sun Microsystemsの案も第2段階までは通っていた。

　Sunの案では、チップ同士を少しだけ重なるように配置し、その重なっている部分で無線を利用してチップ間通信を行なう(これはProximity CommunicationとしてSunで研究が行なわれていた)というものである。

　このプロジェクト、最終的にはPFlops級のマシンを構築する予定であったが、そうなると当然多数のチップをわずかに重ね合わせながら集積することになる。

　Sunのシステムは、300mmのウェハーの上に2500個ものチップを重ね合わせながら積層するという、これはこれでお化けであり、まぁ最終的に第2段階の提案で却下されたので実機は存在しないのだが、この時の経験が少なからずWSEに影響をおよぼしたらしい。

　さてAMDを辞したLauterbach氏やLie氏、Michael James氏(Chief Architect of Advanced Technologies)、Jean-Philippe Fricker氏(Chief System Architect)、それとAndrew Feldman氏(CEO)の4人は再び集まり、自分たちの技術でなにができるかを考えたところ、AI向けプロセッサーが有望そうだという結論に達したらしい。

　そこから改めていろいろとアイディアを煮詰め、ベンチャーキャピタルに声をかけつつ、かつてのメンバーを呼び寄せるなどしてチームを立ち上げていき、2019年に実際の製品ができあがったというわけだ。

　Cerebres SystemsのLeadership teamページで、“Co-Founder”とあるのが上の4人であるが、残りのメンバーも少なからずSeaMicro出身だったりするわけで、そういう意味では再び昔のチームで、という感じなのかもしれない。