ドコモは3月21日、リアル空間と3D映像を自然に融合させるAR技術の実証実験を、東京都新宿区で実施した。これは女性アイドルグループ「浪江女子発組合」のメンバーを、AR技術を用いて巨大化し、新宿の街中で披露するパフォーマンスを鑑賞するというものだ。
実証実験の会場となったのは新宿駅南口近くの新宿サザンテラスの入口付近で、「ドコモタワー」としても知られる超高層ビルのドコモ代々木ビルが見える場所。今回の実証実験専用に用意されたタブレットを、そのドコモタワーにかざすとそのパフォーマンスを体験できる仕組みだ。
実証実験の会場となった新宿サザンテラスの入口付近。中央にそびえ立つのがドコモタワーだ
実際タブレットをドコモタワーにかざすと、巨大化した浪江女子発組合のメンバー3人(内藤るな、高井千帆、播磨かな)が相次いで現れ、ドコモタワーやその周辺のビルなどを舞台に、楽曲に合わせたパフォーマンスを披露してくれる。建物の前後関係などを把握してメンバーがビル影から登場したり、ドコモタワーに抱き着いたりするなど、ARであることを生かした演出も用意されている。位置の認識状況によって若干のずれが生じることはあったが、タブレットの画面を通じて現実では実現できないながらも、リアルなパフォーマンスを体験できたのは確かだ。
タブレットをかざすと巨大化した浪江女子発組合のメンバーが次々登場、パフォーマンスを披露してくれる
今回の実証実験には複数の技術が用いられており、1つは正確な位置を把握し、CGによるオブジェクトなどをずれなく表示する技術。最初にタブレットのカメラで目印となる場所の風景を認識して位置を特定していることから、画像を基に位置を特定するVPS(Visual Positioning Service)に類する技術が用いられているものと考えられる。
正確な位置を把握することでAR空間上でも建物の位置関係をしっかり認識、人物をずれなく表示するだけでなく、建物の陰から人が飛び出すなどの演出も実現できる
ちなみに2021年に同じ新宿サザンテラスなどでドコモが実施していたイベント「XRシティ SHINJUKU」では、グーグルのAR技術を用いて位置を把握していた。だがドコモの説明によると、今回はベースとなる技術自体は同じだが使っている技術は違っているそうで、ドコモがJTBらと、大阪府大阪市で2022年3月18日より実証実験している「道頓堀 XR パーク」と同じ技術とのことだ。
そしてもう1つは、360度から物体を撮影して3Dデータを作成する「ボリュメトリックビデオ」という技術で、人やモノの動きを直接3Dデータにできることから、動きのあるリアルな3Dデータを簡単に作成できるのが特徴だ。今回の実証実験では浪江女子発組合のメンバーのパフォーマンスを3Dデータとして取り込み、それをストリーミング再生しているとのことだ。
ただボリュメトリックビデオのデータ作成には時間がかかるため、今回の3名による約4分間のパフォーマンスをデータ化するのに約1週間かかったとのこと。またストリーミング再生するには配信時のビットレートを平均で30Mbps程度にまで抑える必要があり、データの軽量化にも苦労したという。当初はパフォーマンス時間を20分くらいにしたいという話もあったそうだが、そうした苦労を伴うことからさすがに難しいと判断し、4分に収めるに至ったとのことだ。
ドコモは今回の実証実験で、ボリュメトリックビデオを活用したXRでの映像配信に関する技術検証を進める狙いがあったとのこと。今後はアイドルやアーティストだけでなくよりさまざまなジャンルで活躍している人の3D映像を、街中で視聴できる取り組みに挑戦していきたいとのことだ。
新宿にリアル出現した浪江女子発組合
巨大化した感想は?
なお今回の実証実験会場には、パフォーマンスを披露した浪江女子発組合のメンバー3人もお忍びで訪れ、取材にも応じてくれた。浪江女子発組合は福島県浪江町を中心に活動するアイドルグループなのだが、さまざまな経緯から今回の実証実験に起用されたそうだ。
実証実験に登場した浪江女子発組合のメンバー3人。左から播磨かなさん、高井千帆さん、内藤るなさん
3人に巨大化した自分たちの姿を見た感想を聞いたところ「思ったより大きくてびっくりした」(高井さん)とのこと。彼女たちはスタジオで撮影をしており、実際にどのような形に仕上がるかは分からなかったことから、高井さんは「想像を超える大きさで、すごく楽しかった」と答えている。
撮影に使用したスタジオは、部屋全体がグリーンバックでカメラが40台くらい設置されている丸い部屋で、その中でパフォーマンスをしながら撮影していたという。こうした撮影を体験したのは彼女たちも初めてとのことだけに、「ARのアプリを見て、ああ出てきた！ とわかってるけど、こんな感じで撮られるんだ」(内藤さん)という驚きもあったようだ。
ただそれだけに難しさもあるようで、特に難しかったのが現場にはない建物との距離感をつかむ必要があったことだという。実際「ここに(ドコモ)タワーがあるので、それにめり込まないよう気を付けつつ、指もパーにすると見えなくなるから閉じたりして踊っていた」(播磨さん)などさまざまな苦労があったようで、NGも少なからず出してしまったとのことだ。
ドコモタワーに抱き着くような演出もあったが、実物がない中でのパフォーマンスには苦労があったようだ
今回は彼女たちが活動拠点としている浪江町ではなく、東京・新宿で実施された実証実験に起用された訳だが、「ファンの方たちも新鮮な感じで楽しんで下さっているので、うれしいなと思っています」(高井さん)とのこと。実証実験での彼女たちの楽曲やパフォーマンスから浪江女子発組合を知ってもらうだけでなく、それをきっかけにして浪江町のことを知り、足を運んでもらいたいというのが彼女たちの願いでもあるようだ。
