GeForce RTX 50シリーズまとめ 第20回

RTX 5070 Ti・4070 Ti・RTX 4070、Radeon RX 7900 XT・GREとも比較

GeForce RTX 5070、RTX 4090に上下関係を叩き込まれる

LLMのAI処理においてもRTX 4090が圧倒……！

　ここからはAI系の検証となる。UL ProcyonにおけるLLM（大規模言語モデル）系テストである 「AI Text Generation Benchmark」を利用する。大小4つの学習モデルにそれぞれ7つのテキスト生成タスクを課すテストだ。

　総合スコアーのほか、その算出の根拠であるトークン生成スピードと、最初のトークンまでの時間（いわば応答時間）を比較する。

UL Procyon：AI Text Generation Benchmarkのスコアー。学習モデルの重さはPhi-3.5-mini-instructが最も軽く、LLama-2-13Bが最も重い

UL Procyon：AI Text Generation Benchmarkにおけるトークン生成スピード（OTS：Output Token Speed）。テストごとに平均値で集計している

UL Procyon：AI Text Generation Benchmarkにおける最初のトークンまでの時間（TTFT：Time to First Token）

　ここでもCUDAコアモンスターが飛び抜けて良い結果を残し、RTX 5070はRTX 4090のバックミラーにも映らないほどの差がついている。RTX 5070と3DMarkなどのパフォーマンスが近いRTX 4070 Tiと比較すると、こちらもテストによって勝ったり負けたりだ。

　とはいえ、RTX 5070はSM数が少ないわりに高いスコアーを稼げていると言える。RTX 5070〜RTX 4070において、LLama-2-13Bだけ最初のトークンまでの時間が長い理由は、12GBというVRAM搭載量がネックになっていると考えられる。

　Radeon勢についてはRX 7000シリーズの2番手のRX 7900 XTにおいても長考傾向は変わっていない。トークン生成スピードに関しては、LLama-2-13B限定でRTX 5070を上回るシーンも観測できたが、これも前述におけるRTX 5070の長考問題に対する推察を裏付けるものとなるだろう。

　「MLPerf」も試してみた。学習モデル「llama-2-7b-chat-dml」に対し、4つの課題（「Content Generation」「Creative Writing」「Summarization, Light」「Summarization, Moderate」）を出し、その際のトークン生成スピードや最初のトークンまでの時間を計測するものである。

MLPerf：総合的なトークン生成スピード

MLPerf：最初のトークンまでの時間

MLPerf：4つのお題のうち最も軽いContent Generationにおけるトークン生成スピード

MLPerf： Content Generationにおける最初のトークンまでの時間

MLPerf：4つのお題のうち最も重いSummlization, Moderateにおけるトークン生成スピード

MLPerf：Summlization, Moderateにおける最初のトークンまでの時間

　トークン生成スピードにおいてRTX 4090は今回用意したGPUの中ではダントツである。テストの軽重に関係なく、RTX 5070はRTX 4090の6〜7割程度のパフォーマンスにとどまった。ただし、RTX 4070 Tiが相手になるとRTX 5070がやや有利だ。Radeon勢はここでも長考傾向は変わっていない。