COMPUTEX TAIPEI 2024レポート 第13回

インテルが「Xeon 6」と「Gaudi 3」の詳細を発表、ラックマウントの高密度化に貢献

AIアクセラレーター「Gaudi 3」は
NVIDIA H100/H200よりも安価で高性能

　AIアクセラレーターの最新モデル「Gaudi 3」は、64個のTensor Processor Core（第5世代）を搭載し、AI演算を実行するための8つの行列演算エンジンを搭載している。メモリーは128GBの広帯域メモリーと、12.8TB／sと高速のSRAMを96MB搭載。また24の200GbE対応ネットワークインターフェースポートとPCIe 5にも対応。これにより、全モデルの「Gaudi 2」と比較して、AI処理能力ではFP8で2倍、BF16では4倍となっている。

AIアクセラレーターの最新モデル「Gaudi 3」が登場

Gaudi 3

Gaudi 3のポイント

　またNVIDIAのH100と比較してもLLM処理では2倍、同じくH200との比較ではLLM処理で約1.5倍の性能差があるとしている。

LLM処理ではNVIDIのH100と比較して2倍の性能

同じくH200との比較では1.5倍の性能差となっている

　搭載コストとしては、8個のGaudi 3アクセラレーターを搭載したキットが、12万5000ドル。またGaudi 2アクセラレーターを8個搭載したモデルも用意されており、こちらは6万5000ドルという設定。

Gaudi 3の価格設定

　こちらもNVIDIAのH100との比較が費用ベースで提示されており、推論スループットでは、2.3倍、トレーニングスループットでは1.9倍のアドバンテージがあるという。

金額ベースでの比較でも、NVIDIAのH100を上回っている

☆☆「COMPUTEX TAIPEI 2024レポート」☆☆
☆☆特集サイトはこちらから☆☆

【関連サイト】

• インテル