広域3D映像空間の推定・再現のイメージ
日本電信電話（NTT）は、宇都宮市、ジャパンカップサイクルロードレース協会と共同で、10月13日～15日にかけて開催予定の「SUBARU LEVORG presents 2023ジャパンカップサイクルロードレース」を再現した超高臨場メタバース空間「XRスポーツ空間」において、選手達と一緒に走っているような体験ができる実験を行う。
同社は、IOWN構想を通じて実現をめざす、「低遅延」「低消費電力」「大容量・高品質」のネットワーク・情報処理基盤を活用し、リアルな映像、音響、触覚などの新たな体験を提供する超高臨場メタバース空間の実現に向けた研究開発を進めている。
今回の実証では、SUBARU LEVORG presents 2023ジャパンカップサイクルロードレースのホープフルクリテリウムにおいて、競技レースの映像・音響・路面情報等のデータを収録。後日、競技レースの時間・空間を再現したバーチャル世界 XRスポーツ空間をレース参加者に体験してもらい、技術の効果効用を評価する技術検証を実施する。
本実証では、移動する複数のカメラ映像から3次元の映像空間を生成し、任意視点からの映像を生成可能とする技術を用いている。リアル世界内の動物体により生じる遮蔽領域を、別撮り映像に基づいた画像選択と画像復元により補完することで、広域な映像空間を再現できるという。
広域3D音響空間の推定・再現のイメージ
また、移動するカメラ・マイクで撮影・収音された映像・音響データから、リアル世界内の選手や観客などの個々の音源を分離し、個々の音の位置を含む音の空間的な広がりまでを含めた音響空間を生成する技術を導入。オブジェクト識別をベースとした音源分離と奥行推定を組み合わせた個別音源定位、カメラ・マイクの位置情報を活用した音場再構成により、自然な音響空間を再現する。
広域振動空間の推定・再現のイメージ
さらに、リアル世界を自転車で走行した際の振動音・路面映像を収録し、メタバース空間で走行する際の路面や速度に応じて変化する振動感覚を再現する技術も導入。カメラで収録した路面を区分けし、一部の場所で収録した振動音を区分けに基づいて空間全体に適用することで、広域な振動空間を再現する。
本実証の成果は、11月14日～17日に開催される「NTT R＆D フォーラム― IOWN ACCELERATION」に展示する予定。
