メモリーと演算ユニットをほぼ一体化したUntether AIのrunAI200とBoqueria　AIプロセッサーの昨今

2022年09月19日 12時00分更新

文● 大原雄介（http://www.yusuke-ohara.com/）　編集●北村／ASCII

BoqueriaはrunAI200から大幅性能アップ
演算性能は5倍、電力効率は7倍に

　SRAMアレイとPEの詳細が下の画像だ。SRAMセルは、なんと0.4Vの低電圧動作になっているようで、これで消費電力をさらに引き下げる工夫がなされている。

　低電圧動作といえばEsperantoのET-SoC-1がやはり0.4V付近での動作を狙っており、Boqueriaのように膨大な量のSRAMを搭載する製品ではこうした配慮が不可欠ということだろうか。

レジスターファイルの扱いなどはrunAI200と大きく変わらない気がするが、T Regはなんの目的なのかは不明。F Regが改称しただけだろうか？

　またSIMDの幅が64bitに広げられたようで、さらにデータ型も新たにINT4やFP8、BF16などのサポートが追加されている。これらはより性能を引き上げるのに効果的だろう。この新しく追加されたFP8だが、3種類のフォーマットが選べるとしている。

Eが指数部(Exponent)、Mが仮数部(Mantissa)。Sは符号(Sign)である。範囲重視なら仮数部2桁、精度重視なら仮数部3桁ということらしい

　FP8はINT8に比べて最大2倍の効率としているが、仮数部のサイズが半分なら当然そうなることになる。

　ちなみにUntether AI社による精度の比較が下の画像である。ResNet-50ではINT8とFP8の精度の差はは0.1%に過ぎず、またBERTベースのSQuAD 1.1でもBF16と比較して1%程度の差でしかないとする。

SQuAD(Stanford Question Answering Dataset)は名前の通り質問と回答のデータセット。現在は2.0がリリースされている

　ところで先ほど出てきたRISC-Vコアだが、同時4スレッド実行のSMT構成で、ただしカスタム命令の形でPEへの制御が行なえるようになっている。

逆に重い処理をさせるつもりがないので、それぞれのプロセッサーには4KBのSRAMが搭載され、これを利用して処理をすることになる。ただこれで足りるのか？　は少しだけ疑問である

　一応RISC-Vコアでも計算は可能だが、カスタム命令一覧を見ればわかるように、主目的はPEの制御になるだろう。runAI200では独自コアを用意していたが、PE制御はともかく汎用プロセッサーとしての処理は別に独自色を出す必要はないわけで、開発環境やソフトウェアサポートなどを考えてもRISC-Vをベースに、拡張命令だけをサポートする方向に切り替えたということだと思われる。

　Boqueriaもまた、マルチチップ拡張が可能である。前ページにあるBoqueriaの内部構造を示した画像にもあるように、もともとそれぞれのチップは4つのPCIe Gen5 x8レーンを装備しており、これを利用してCard-to-CardおよびChip-to-Chipの直接接続が可能な構成になっているそうだ。

今度はホストとの接続にPCIeスイッチは要らないことになるのだが、帯域的にこれで足りるのだろうか？　Boqueriaの構造からして、ホストと煩雑にデータのやり取りをする必要はない気もするが、さすがにカード2枚で12個のBoqueriaを1ポートのPCIe Gen5 x8でカバーするのは厳しい気がする

　気になる性能であるが、現時点でまだBoqueriaのサンプルは出てきておらず、下の画像は推定である。にしても、絶対性能で12PFlops、性能/消費電力比で30TFlops/Wというのは相当に強力な数字である。