AIを用いバーチャルとリアルの融合した場を作る、ソニー独自の3DCG生成技術

写真とAIを組み合わせてリアルな3Dで背景を生成

　ソニー独自の3DCG生成技術は、限られた写真（静止画）からAI技術を用いて、3DCG空間を導き出す一連の技術である。「NeRF（Neural Radiance Field）」や「3DGS（3D Gaussian Splatting）」といった技術によって構成されている。

背景に表示されているのがソニー独自の3DCG生成技術を用いて作られたアセット。後述する『ショーラー』のMVでも使用されている。

　写真や映像から3Dオブジェクトを生成する技術自体は数多くあり、手軽なものはiPhoneなどのカメラから3DCGを生成するものがある。また、工場全体をスキャンして効率的なオペレーションのシミュレーションに使うといった大規模なものや、希少性のある建物や物体を3D化して美術館で展示するといった試みもある。

　少し専門的な話になるが、ソニーの技術ではRadiance Field（放射輝度場）で三次元空間を表現することで、一般的なフォトグラメトリツールが苦手とするガラスなど透明な物体の透過表現や光の反射の再現に優れている。また、合成した結果、輪郭がゴツゴツとしてしまって違和感が出るといったデメリットも少ない。結果、ビデオカメラでリアルの風景を捉えたように自然な「物体と空間の表現」が可能になっているそうだ。

　「画質の高さ」はソニー独自の3DCG生成技術の特徴のひとつだが、HDR表現やぼけ再現などにも対応したレンダリング（Unreal Engine用のプラグインを独自開発）による「表現力の高さ」もポイントだ。また、1背景あたり最短で15分程度の撮影時間で翌日から背景映像として活用できるという驚異的な「制作スピードの速さ」もメリットだ。

　「撮影のしやすさ」にも配慮しており、撮影時にスマホで使える専用の撮影ナビアプリを併用することで、目の前で撮影している風景をスタジオのディスプレーに表示した場合、どのような切り取られ方になるのかが一目瞭然になる。

　撮影中に人や車などが前を通過した場合も、別アングルで撮影した写真を照合して、動きのあるものを自動的に消した背景アセットを生成できるそうだ。