GeForce RTX 50シリーズまとめ 第16回

RTX 5080との性能差は価格に見合うものなのか？

GeForce RTX 5070 Ti性能検証、RTX 4080と互角以上の立ち回り

AI処理性能も前世代から進化

　ここからはAI系の検証となる。まずは「UL Procyon」の 「AI Text Generation Benchmark」を用い、大規模言語モデル（LLM）におけるパフォーマンスを比較する。大小4つの学習モデルにそれぞれ7つのテキスト生成タスクを課し、出力されるトークン（単語）生成スピードおよび最初のトークンまでの待ち時間からスコアーを導き出すテストだ。

　ちなみに、どのGPUにおいても同じ学習モデル、同じAPI（ONNX）を利用している。

UL Procyon：AI Text Generation Benchmarkのスコアー。学習モデルの重さはPhi-3.5-mini-instructが最も軽く、LLama-2-13Bが最も重い

UL Procyon：AI Text Generation Benchmarkにおけるトークン生成スピード（OTS：Output Token Speed）。テストごとに平均値で集計している

UL Procyon：AI Text Generation Benchmarkにおける最初のトークンまでの時間（TTFT：Time to First Token）

　当然だが、総合スコアーのトップはRTX 5080。しかし、RTX 5070 Tiもそれほど悪くない。RTX 5070 TiとRTX 4080を比較すると、最もコンパクトなPhi-3.5-mini-instructでは、RTX 4080に総合スコアーで惜敗しているものの、それ以外の学習モデルではRTX 5070 Ti＞RTX 4080となった。

　RTX 3070 Tiなどの旧世代なxx70番台だとVRAMが足りず、LLama-3.1-8をなんとか動かせる程度だが、RTX 5070 Tiに乗り換えることでもっとパラメーター数の多い学習モデルも運用可能になる。Radeonに関しては、生成スピードはともかく反応がRTX 3070 Tiに比べて遅いところが難点だ。このあたりがRDNA 4になってどの程度改善するかに注目したい。

　お次は「MLPerf」を利用してLLMにおけるパフォーマンスを比較する。学習モデルは「llama-2-7b-chat-dml」を利用し、4つの課題（「Content Generation」「Creative Writing」「Summarization, Light」「Summarization, Moderate」）を出し、その際のトークン生成スピードや最初のトークンまでの時間を計測するものである。パラメーター数は7Bなのでそう重くはないが、UL Procyonと傾向の違いはあるのだろうか。

MLPerf：総合的なトークン生成スピード

MLPerf：最初のトークンまでの時間

MLPerf：4つのお題のうち最も軽いContent Generationにおけるトークン生成スピード

MLPerf： Content Generationにおける最初のトークンまでの時間

MLPerf：4つのお題のうち最も重いSummlization, Moderateにおけるトークン生成スピード

MLPerf：Summlization, Moderateにおける最初のトークンまでの時間

　UL Procyonと同様、RTX 5080が生成スピードにおいても応答速度においても良い結果を残し、RTX 5070 Tiは2番手となった。ここで用いた学習モデルではRTX 5070 Tiは僅差でRTX 4080を上回り、新世代のGPUとして無事（？）下剋上をハタしている。

　メモリーバス幅が同じ256bitのRTX 4070 Ti SUPERと比較すると、生成スピードにおいて17％程度伸びている。トークン生成スピードや応答速度に関しては、タスクの複雑さと連動している。最も軽いContent Generationともっと重いSummlization, Moderateを比較すると、後者のほうがRTX 3070 TiやRX 7900 GREといったGPUでは大きなハンデが生じている（特に応答速度）。

　RTX 4080ユーザーなら、乗り換え先はRTX 5090かRTX 4090であることは言うまでもない。しかし、RTX 4070 Ti SUPERあたりのユーザーであれば、劇的改善とはいかないかも知れないが、RTX 5070 TiやRTX 5080であっても充分メリットを見い出せることだろう。