AIを用いバーチャルとリアルの融合した場を作る、ソニー独自の3DCG生成技術

　映像制作の分野でバーチャルプロダクションの採用が進んでいる。ソニーPCLはバーチャルプロダクション撮影に対応したスタジオ「清澄白河BASE」を都内に構えており、その施設については当媒体でも折に触れて紹介してきた。こうした設備の充実と同様に、同社が当初から重要視してきたのが、バーチャルプロダクションに使う背景アセットを充実させる取り組みだ。

大型の「Crystal LEDディスプレイ」を備え、バーチャルプロダクションの撮影ができるソニーPCLの「清澄白河BASE」

　場所の移動がなく、スタジオ内で効率的に撮影作業を進められるのがバーチャルプロダクションの特徴だが、そのためには映し出す背景を自由に選択したり、必要に応じて作り込める環境が必要だ。それには相応の手間と時間がかかるという側面もあり、ここがバーチャルプロダクションを選択する際の課題の一つになっている。

　一方、ソニーはAI技術を用い、限られた写真（静止画）から3DCGの空間を導き出す技術を開発している。この「ソニー独自の3DCG生成技術」をバーチャルプロダクションに活用した事例を、デモを交えながら関係者に説明するイベントが8月に開催されたので、取材してきた。

バーチャルプロダクションの課題に応える

　冒頭でも述べた通り、バーチャルプロダクションは、テレビドラマ、CM、ミュージックビデオなど、さまざまな映像制作の分野で、現在注目を浴びている。背景を合成する技術としてはグリーンバック撮影といったものもあるが、バーチャルプロダクションではスタジオ内に仮想的な背景を投影して、その前に組んだセットで出演者がパフォーマンスするのが特徴だ。

　メリットは、撮影時間を大幅に短縮し、ロケの移動や日程の調整、天候などによる撮影の延期といった課題も解決できる点にある。また、演者が背景に投影されている内容を把握しながらパフォーマンスを実施でき、映像の切り替わりによって前方の大道具や小道具に自然な光が映り込むため、自然な光の表現が得られる点も従来のグリーンバック撮影にはない特徴と言える。

　一方で、バーチャルプロダクション特有の課題もある。それが背景の素材だ。これには高解像度の写真に加えて、3DCGなども用いられており、カメラの動きに連動して適切なアングルに背景が変化していく三次元的な表現（In-Camera VFX）も可能だ。

　しかし、これを実写と見まがうような品質で作るとなれば、膨大な時間がかかるのは想像に難くないだろう。制作には数ヶ月の時間を要することも珍しくない。映像の品質に直結するポイントであるため手を抜けないし、その素材（アセット）調達や作成には相応の時間がかかることになる。この時間的な制約がハードルになっている面もあるそうだ。