網戸でも試した! めちゃめちゃ苦労した独自開発のリアルARライブ
── お二人がタッグを組んだライブは、前回の「MMD杯 in ニコファーレ」から2回目ですよね?
cort そうですね。
── 前回の経験を踏まえつつ、さらに面白い内容が展開できそうだと。今回は会場でも見られるARがポイントと伺いました。
岩城 今、それを詰めている真っ最中です。今までニコファーレでやったARライブは、生放送を見ている人はいいんだけど、会場に来ている人は「負け組」といわれる状況もあった。カメラには3Dキャラが映ってるのに、実際には誰もいないという不思議なステージも面白いんですが、やっぱり会場では合成した映像が映っている横の画面を見てしまう人がほとんどだったんです。
── 見てしまいますね(笑)
岩城 でもライブなので、みなさんに前を向いてほしい。それをずっと考えていて、あるときARライブをやっていたときに、リアルとネットを両立させるアイデアをふっと思いついた。
── 過去の初音ミクのライブのように、透明スクリーン(ディラットボード)を使う感じですかね?
岩城 そうですね。ただし、単に透明スクリーンにキャラクターを投影しただけだと、仕組み上、ステージ後ろからのアングルで撮れなくなってしまう。それでは生放送の番組的によくない。というわけで会場と生放送を両立する仕掛けを入れたんです。
ステージにスクリーンを立てて、プロジェクターでGUMIちゃんを投影してうたって踊ってもらうのは一緒ですが、そのプロジェクターとカメラの両方に光学的な特殊フィルター(偏光フィルター)をつけると、生放送の映像からGUMIちゃんを消せる。透明スクリーンや観客は映ってるのに、映像だけ消えるんです。そこに従来通りのARキャラを合成するという感じです。
── おおっ! 不思議ですね。
岩城 3D映画ってご存知ですか? あれはスクリーン上で右目用、左目用の映像を映してていて、裸眼で見ると両方の映像が見えてしまう。ただ、専用のメガネを通すと、右目には右目用、左目には左目用の映像が映っています。あれと同じことで、カメラに3Dメガネをかけるんです。
── でも偏光フィルターを通すと、アングルが制限されませんかね?
岩城 角度は大丈夫なんですが、回転には弱い。ただ、そういった機会はあまりないですしね。
── スクリーン側も特殊なんですか?
岩城 それが大変だったんです。普通のスクリーンだと乱反射してしまって、カメラ側にフィルターをかけても全然消えない。この消えるスクリーンを探すのが本当に大変だった。何をどうしたかは企業秘密ですが、結構、いろいろなスクリーンを試しました。「ドイツ語分からねーなー」とかいいながら海外から取り寄せたり、当然、網戸も試したんですよ。
── 網戸! 「アミッドスクリーン」ですね。それはダメだった?
岩城 1月に発表会で会場の人も楽しめるARライブを開発中と話していた際は、実は網戸で試していたんです(関連記事)。で、ある投影方法をすると消えることが分かったんですが、あまりにも網戸をピンと張るのが難しい。少しでも波打つとかっこわるいことになってしまうので、あきらめてしまった。
── 1月ってことはこの半年、スクリーンの試行錯誤をずっとやられてきたと! 根性だなぁ……。
岩城 くる日もくる日も、スクリーンを取りよせて投影して「ああ、これもダメだった……」って。実はほかにもニコファーレは厳しい条件があって、まず360度LEDで明るいんですよね。今までの初音ミクのライブを見れば分かるように、ステージをかなり暗くしてる。その折り合いの付け方などで、四苦八苦してます。
── 透明スクリーンを使うと、照明の角度なども制限されますよね。でも、ニコファーレはARキャラクターの照明連動もひとつのウリです。今回もやるんですか?
岩城 ある程度はやりたいと思っていますが……。そこがどこまでできるか、胃をキリキリさせながら調整しています。