GeForce RTX 50シリーズまとめ 第7回

レイテンシーを劇的に減らす「Frame Warp」と「Inpaint」処理とは？

Reflex 2はゲームの応答時間が75％短縮、マウス操作と画面表示に究極の一体感をもたらす？

Frame WarpでE-Eシステムレイテンシーが4分の1に

　Reflexは、CPUの処理が最速でGPUに伝わるように調整するという基本コンセプトだが、Reflex 2はここからさらに一歩踏み込む。GPUがレンダリングしているわずかな時間の最中でもプレイヤーがマウスを動かし続けていれば、レンダリング開始時とレンダリング終了時のカメラ位置（＝マウス位置）には差ができる。

　レンダリングを始めた時から終わるまでのわずかの時間（数ms〜十数ms）にカメラが5度左に動いた場合、プレイヤーの期待する映像とレンダリングした映像との間には5度の差ができる。GPUのレンダリング時間が「0」でない以上、ディスプレーに表示された映像は常にレンダリング時間のぶんだけ過去を反映している。Reflex 2はこのギャップを埋めるための技術だ。

　まずReflex 2では「Frame Warp」という処理を行う。レンダリング中もCPUはマウスの動きを注視する。レンダリングが終わった画面を最終的なカメラの向きにあわせて傾ける（ゲーム画面を四角ポリゴンに張り付け、そのまま回転させたものを想像してほしい）ことで、プレイヤーの意識と画面表示の差異を減らすのだ。

　VRヘッドセット向けのレンダリング技法に、「Asynchronous TimeWarp」や「Asynchronous Reprojection」という技法がある。VRヘッドセット環境で描画処理が遅れそうな場合は、今出ている絵の内容をそのまま頭の移動方向にずらして違和感を軽減するというものだが、Reflex 2はこれの応用である。

　なお、Reflex 2のベースになっている技術は、「Post-Render Warp with Late Input Sampling Improves Aiming Under High Latency Conditions」（Joohwan Kimほか 2020）という論文にまとめられている。

　E-Eシステムレイテンシーの大きなゲーム環境において、処理中のカメラ移動を最終的な映像に入れ込むことで、プレイヤーのタスク（ターゲットの追跡と撃破）がより短時間で終了できる、としている。

この論文では105msのE-Eシステムレイテンシー環境下で、3つのWarp技法を比較している。最後の瞬間に角度の帳尻を合わせるRotation Naïve（RN）という技法の有用性が示されているが、同時に画面の端に黒い領域が出ることもわかる

（9人のテストプレイヤーによる）タスク完了時間がWarpの採用で劇的に短縮したことを示したグラフ。ROやTROといった、より複雑な技法はあるが、実装が単純なRNでも効果は絶大、といったところか

GPUがレンダリングを始めた時のエイム位置（A）と、GPUのレンダリングが終了する時点でのマウス位置（B）が異なる場合、マウスの移動（矢印）を追跡してレンダリング終了時にBとマッチするように映像の帳尻を合わせるのがReflex 2の核心である（画像は筆者が適当に生成したもの）

レンダリング終了時点におけるマウス位置と、帳尻を合わせるように画面を傾け（図ではかなり大袈裟に描いている）、Bが視界の中心に来るように映像をFrame Warpさせる。ただし、映像をFrame Warpさせただけだと銃の位置はずれたままなので、ここもうまく処理する必要がある