GeForce RTX 50シリーズまとめ 第34回

NVIDIA Appにおけるプリセットの種類や設定方法もご紹介

いまさら聞けないNVIDIAのDLSSを最新の4.5までまるっと解説　もうドットバイドットの画質を超えている

DLSS 4以降では「画面全体を見て」処理をする

　DLSSの次なる転換点は、2025年に登場したDLSS 4だ。ちなみに、DLSS 3はGeForce RTX 40シリーズ以降の「DLSSマルチフレーム生成（Multi Frame Generation）」、DLSS 3.5はレイトレーシング処理を補助する「DLSSレイ再構成（Ray Reconstruction）」となるので、本稿では解説を省略する。

　DLSS 2より使われてきたCNNベースの学習モデルは軽快な反面、近視眼的に狭い領域でしか分析できず、動きの速い物体の追跡を苦手とする。結果としてフレーム間で一貫性がなくなり、ちらつきが出やすい。

　そこで、DLSS 4ではChatGPTやStable Diffusionに使われている「トランスフォーマー」ベースの学習モデルを追加した。self-attention（自己注意機構）を備え、複数フレームに渡ってピクセルの重要度を評価できるのが強みだ。

　小石が落ちてくるシーンを考えてみよう。小石がゆっくり動いているならCNNの狭い視野でも対応できる。だが、CNNが注目する範囲外から小石が高速で移動してきた場合は、今見ている領域は小石なのか背景の一部なのか判断をつけにくい。結果として、ボケたりブレたりしてディテールが失われてしまうのだ。

　一方で、トランスフォーマーなら少なくともなにか小さな物体が落ちてくるシーンである、と画面を文脈として理解することができる。小石の過去フレームにおける位置＆速度などから、「このあたりに物体がある」と確信を持った上で処理できるわけだ。

CNNは狭い範囲でしか画像をとらえられない。計算コストは低いがゴーストやジャギーといった問題も出やすい。さらに、高速で動く物体はその動きを理解して、正しく処理することができないといった問題がある

トランスフォーマーは複数フレームにわたってピクセルの重要度を理解しながら処理をする。明滅するネオンサインが水たまりに映り込むシーンでも、両者に齟齬が出ないように処理できる

　DLSS 4.5は、そんなDLSS 4のトランスフォーマーモデルをさらに強化したものである。DLSS 4.5は「高忠実度データセット」でトレーニングされ、シーンごとの文脈理解をより高めた第2世代トランスフォーマーモデルを採用している。とりわけ重要な点は、リニア空間で直接計算できるようになったところ。

　従来のDLSSやTAAでは、ゲームエンジンがリニア空間で計算し、それをDLSS側が対数空間に変換して”圧縮”して処理。その結果を再度リニア空間に戻して画面へ出力する。このリニア→対数→リニア変換の過程で一部の情報が失われてしまう。

　下のグラフは輝度の入力（横軸）を対数空間とリニア空間で処理した時の出力（縦軸）を大袈裟に図示したものだ。対数空間では入力の値がある程度大きくなると、出力の増加が急激に鈍化する。つまり、情報の一部が失われる。ただし、高輝度成分が圧縮されるということは、輝度の急激な変化が発生しにくいというメリットもある。ゆえに、ドットのちらつきを抑制しやすいわけだ。しかし、本来あるべき輝度は表現できなくなる。

対数空間とリニア空間の違いを極端に単純化したグラフ。入力を増やせば、出力も増えるがその対応関係が両者では異なる。対数空間は入力値が40を過ぎたあたりから入力を1増やしても出力は大きく変化しなくなるが、リニア空間は入力と出力がつねに連動する。ただし、実際の処理工程がこうなっているわけではないことをお断りしておく

　だが、DLSS 4.5の第2世代トランスフォーマーはゲームのレンダリングから出力までリニア空間で行うことができる。計算コストは対数空間より高いが、情報の損失は抑えられる。計算コストの問題は演算精度をFP8にすることで補う。

　しかしながら、FP8を直接Tensorコアで処理できるGPUは、GeForce RTX 40シリーズと同50シリーズのみである。旧世代のGeForce RTX 20シリーズと同30シリーズでも処理はできるものの、FP8を直接計算できないため、パフォーマンスが出にくいことを覚えておこう。

F1 25：きらびやかなサイネージが林立するラスベガスを疾走するF1カー。このシーンでは遠景に見える「Aria」に注目する。4K＆DLSSクオリティーのレンダリング結果で比較する

第1世代トランスフォーマーではAriaの文字が暗い空間で白く点灯していることがわかる。ちなみに、この文字の明るさは一定である

第2世代トランスフォーマーだと、Ariaからあふれ出る光（ブルーム）が描かれ、よりリアルな表現になっている。対数空間で処理すると欠落しやすい高輝度の領域が、リニア空間で処理することでしっかり保持されるからだ。ちなみに、第1世代トランスフォーマーでもこの看板に接近すればブルームが描写されるようになる。つまり、計算精度の問題なのだ