GAUDI 2は管理維持の経費削減に効果大
今年5月に行なわれたIntel Vision 2022で、インテルはGAUDI 2を初公開した。といっても詳細はあまり明らかになっておらず、唯一示されたのはNVIDIAのA100と比較して約2倍のスループットを実現できるということだけだった。
A100の2倍というのは新製品としては全然十分ではない(H100の3分の2の性能ということになる)わけだが、ここでHabana Labsはおもしろい見解を出してきた。
昨今のデータセンターでは、ディープラーニングに要するコストがどんどん上がっているとする。理由はより複雑なモデルと繰り返し回数の増加、アプリケーション利用の広がりなどだ。
単に性能を上げるだけでは不十分で、例えば最後の“rebuild daily or hourly”(ネットワークの組み換えやアプリケーションの変更を毎日あるいは毎時行なう)が26%もあると、これに要する手間とコスト(特に人手)がバカにならない
ところが、GAUDI 2はディープラーニングに要するコストの削減に大きな効果がある、というのがHabana Labsの主張である。要するに絶対性能だけでなく、TCOの削減に効果が大きいとしたわけだ。
GAUDI 2そのものはプロセスの微細化と処理エンジン強化(3倍)、メモリーの容量増加と高速化、ネットワーク強化(100G×10→100G×24)と、猛烈に内部構造を強化したGAUDIといった形になっている。その内部構造が下の画像だ。
GAUDI 2の内部構造。Media Engineを利用することで、静止画や動画をCPUの介在なく直接取り込んで処理が可能になる(GAUDIではCPUで展開してビットマップの形で送り込んでやる必要があった)
TPC(Tensor Processing Cores)が3倍に増やされた以外に、新たにMME(Matrix Multiplication Engine)が2つ追加されている。またHEVC/H.264/VP9/JPEGなどのデコードが可能なMedia Engineも新たに追加された。
ちなみに図には出ていないが、初代GAUDIでは24MBの共有SRAMが搭載されており、これを利用して送受信やTPC間でのデータ共有などを行なっていたが、GAUDI 2ではこれも48MBに増やされている。
GAUDI2が他のAIアクセラレーターと異なることの1つは、マルチチップ構成でのインターコネクトである。制御そのものはホスト(Ice Lake-SPサーバーをここでは念頭に置いている)からPCIeレーンでつながるが、カード同士は100GbEで接続する、という独特の構成である。
なにせ1つのGAUDIから24本の100GbEが取り出せるので、そのうち3本はネットワーク接続用に回すとして、残り21本は丸々余っている。これを300GbE×7構成にして、GAUDI 2同士の相互接続に使う、という構成である。下手な独自インターコネクトを作るより、100GbEを流用した方が効率的と考えたのだろう。
さてGAUDI 2の性能であるが、これはIntel Innovationで示されたものと大差ない。
今回新たに示されたのはスケーラビリティーで、複数枚のカード(初代GAUDIを含む)を利用したケースで、枚数に応じてリニアに性能が増えるとしている。
本記事はアフィリエイトプログラムによる収益を得ている場合があります

この連載の記事
-
第902回
PC
なぜGPUとTPUを混載するのか? あえてCPUを外しFP8も捨てたWaymo独自プロセッサーの徹底した割り切り -
第901回
PC
Teslaの「カメラ単体」を否定する理由 Waymoが明かした自動運転の壁と自社製プロセッサー -
第900回
PC
元Samsung副社長が率いるBOSの勝算 Tenstorrent製NPUとオープン規格で挑む車載AI「Eagle-N」 -
第899回
PC
NVLink追撃の現実解「UALoE」 AMD Instinct MI400が挑む次世代ラック実装とBlackwell対抗 -
第898回
PC
AI特化とは一線を画すHPCの怪物! 富士通「Monaka」が目指す3D積層と256bit SVE2の真価 -
第897回
PC
NVIDIA独自コア「Olympus」の真価 Vera CPUが見せたIPC全振りの重厚構造とメモリー帯域依存 -
第896回
PC
Arm自社設計「AGI CPU」の全貌、10-wideデコードと2ダイ構成で見せた優等生的な実力 -
第895回
PC
IBM ZがArmを取り込む衝撃! 次世代メインフレーム「z18(仮)」のネイティブDual-ISA戦略の狙い -
第894回
PC
AMD「Ryzen AI Embedded X100」のリアルタイムAI制御が、Jetsonの弱点であるCPU性能を突く -
第893回
PC
インテル製GPU「Crescent Island」の正体、容量480GBメモリーでエージェント型AIとKVキャッシュ問題に挑む -
第892回
PC
Hot Chipsで明かされた「Wildcat Lake」の全貌 Foverosを捨てMCPを選んだインテルの舞台裏 - この連載の一覧へ

















