3D-Guided Neural Renderingを解説

左手（AI）はそえるだけ。「NBA 2K27」でDLSS 5におけるニューラルレンダリングの画質とフレームレート下落率を検証

2026年09月08日 10時00分更新

光やマテリアルの表現を画像生成で作り込む

　3D-Guided Neural Renderingは、広い意味では「フレームごとに画像を生成する」技術となる。ただし、一般的な画像生成AIではゲームのフレームレートに追従できる性能は出せない。そもそも普通の画像生成AIでは生成するたびに得られる結果が異なるため、ゲームにそのまま使えないのだ。

画像生成AIでは同じプロンプトを入力しても生成のたびに違った映像が出る。シード値の固定などである程度出力結果を固定できるものの、動作環境が少し変わっただけで同じ画像は得られなくなる。PCゲームグラフィックにおいては、この不確定性は大きな問題だ

　そこで、3D-Guided Neural Renderingではゲーム画面の全体を生成するのではなく、ライティングやマテリアルの質感を補完することに絞った生成AIを使用する。DLSS 5の学習モデルはゲームグラフィック内のジオメトリーやテクスチャー、光と影の関係を保持できるようにトレーニングされており、同じ入力があれば常に同じ出力が得られる。すなわち、決定論的である。

　そして、この学習モデルは「フォトリアリスティック」な映像を得ることに関する知見、つまり人物や石、テーブルや果物はどうしたらフォトリアルな画像になるかという手がかりが蓄積されている。麻布であれば麻布らしい光の散乱を与え、金属の箱には適用しない、といった感じだ。

DLSS 5はプロンプトではなく画面を構成する情報を手がかりにする。たとえば、これは物体から影や反射を剥ぎ取った色の情報

光や影の関係は別の入力として取り扱う

ゲームエンジンから得られるモーションベクターを利用することで、フレーム間のチラつきを押さえる工夫もされている

最終イメージ

技術デモ「Zora」のシーン。こちらは3D-Guided Neural Renderingを使わずに光と影の情報だけでレンダリングしている

3D-Guided Neural Renderingを有効化したところ。このシーンでは髪の毛の光沢表現に格段の進歩がみられる。シーン内のジオメトリーには一切手をつけず、陰影のみを強化している点が重要だ。頬や鼻の頭の凹凸が強調されすぎという印象があるかもしれないが、どの程度強調するかはゲーム開発者が指定できる

　3D-Guided Neural Renderingのもう1つの特徴は、「3種類のモデル」が選択でき、処理を適用する「範囲」と「量」を指定できるところ。まず3D-Guided Neural Renderingを有効にすれば画面全体に適用されるが、どの程度AIで効果を強めるかは選択できる。さらに、特定の領域にマスクをつけて効き方を調整することも可能だ。

3種類のマスク（黄・青・緑）が設定されており、各々の効き具合を変更できる。もちろん、これは説明向けのデモのため、実際にゲーム画面でこのようなUIがあるわけではない

このシーンではまな板の上にある物体と、奥にある調味料のボトルに対し、異なるマスクが設定されている。右のUIでGroup 1という部分の設定値を下げた状態では、肉とまな板の境目に光が回り込みすぎていて、雑にコラージュしたように見える

Group 1の設定値を上げるとAmbient Occlusionの効き方がGroup 1の領域だけ強化される。画面全体のAmbient Occlusionは変わっていない

　重要な点は、3D-Guided Neural Renderingは画像生成AIのi2i（image-to-image）のように、雑に描いたものをマスターピースに仕上げてくれるものではない、ということだ。元のシーンの情報量が多いほどより優れた結果を得やすい。ゲーム制作者の「納期間際の最後のブラッシュアップ」をAIで支援する技術、というべきものである。