ロードマップでわかる！当世プロセッサー事情 第767回

Lunar LakeはWindows 12の要件である40TOPSを超えるNPU性能　インテル CPUロードマップ

Granite RapidsはSapphire Rapidsより2.1倍高速
Emerald Rapidsと比較しても1.78倍高速

　一方Granite Rapidsの方であるが、今回基調講演ではパラメーター数70億個のLLMを実行させ、その際のレスポンスを比較したところ、第4世代Xeon Scalable(つまりSapphire Rapids)と比較して2.1倍、第5世代Xeon Scalable(つまりEmerald Rapids)と比較しても1.78倍高速というデモが行なわれた。

4bit formatとあるので、AMXではなくVNNIを利用しての比較と思われる

基調講演での様子。パラメータ数70億個のLlama 2をそれぞれの構成でローカルで実行し、質問を入れて答えが返ってくるまでの時間を計測して、速度を算出している

　ただ肝心のGranite Rapidsのコア数や動作周波数などは不明なままなので、なんと評したものか、という感じになっている。

　Sierra ForestベースのXeon 6は今四半期中に出荷開始というアナウンスもあった(これは以前からも同じ)が、Sapphire Rapidsの時にはエンジニアサンプルの出荷を"Start Shipping（出荷開始）"と強弁していたこともあるだけに、この出荷なるものが製品なのかエンジニアサンプルなのか、今一つ判断できない。

　なんとなく通例だと単なるエンジニアサンプルの出荷であり、そこから検証がスタートして、量産出荷は今年第4四半期になりそうなのだが、そのあたりはまだ不明である。

　次回はもう1つの目玉であるGaudi 3について解説したい。