影がつくり出すアートとVRの融合がスゴイ!その意外な仕組みとは

文●ジサトラ ハッチ

2017年11月02日 11時00分

埼玉県の川口市にあるSKIPシティ彩の国ビジュアルプラザ映像ミュージアムでは、2017年9月16日(土)から2018年3月11日(日)までVR(仮想現実)やAR(拡張現実)といった最先端技術を体験できる展覧会「マジカリアル~VR・ARが作り出す不思議体験~」を開催。

「マジカリアル~VR・ARが作り出す不思議体験~」は、SKIPシティ 彩の国ビジュアルプラザ 映像ミュージアムの3階にて、期間限定で開催中

本展覧会では、ARを使った新感覚スポーツとして名を広めつつある株式会社meleapが手掛ける、魔法の力「HADO」(参考記事)で異次元からやってくるモンスターを倒す「HADO SHOOT!」や、VRではおなじみの360度で恐竜の世界を体験できる株式会社積木製作の「恐竜戯画」をはじめ、ARやVRで楽しめる絵本、影を付けて立体に浮かび上がる絵画作品などを観覧できる。

なかには、特殊な素材でつくられたマントにより、あたかも士郎正宗原作の攻殻機動隊で見られる「光学迷彩」を再現した、子供から大人まで刺激するおもしろい展示を体験して楽しめる。開館時間は9:30~17:00(入館は16:30まで)。料金は大人510円、子供250円で、静止画や動画の原理や歴史が学べたり、懐かしの撮影機材、照明の展示、映像制作の体験コーナーなどもある常設展も体験できる。

CGなどでつくられた物体を現実にあるかのように感じさせたりする「再帰性投影技術」を利用した光学迷彩展示。特殊な素材でつくられたマントがプロジェクターからの映像を背景とマッチするように表示し、あたかも人がいないかのような状況をつくり出しているようだ

そんななか、今回注目したのはさまざまなテクノロジーを駆使して「現実とデジタルの境のない空間」をつくりだすメディアアーティストとして活躍されている坪倉輝明氏の「不可視美術館」をピックアップ。

不可視美術館は、何も作品が置いていない台、何も描かれていないキャンパスに懐中電灯を向けると光が当たり、台の上には彫像の影が、キャンパスには絵が浮かび上がる。影で表現される彫像やキャンパスの絵は、一定時間後に別の作品へと切り替わるといった、本物とは違う映像による演出も施されている。

暗い部屋の中には、白い台と白いキャンパスがあり、用意された懐中電灯を向けると彫像の影と絵画が浮かびあがり、驚きと神秘的な空間を演出する

懐中電灯の当て方によって、見えない彫像の影を、いろんな角度で確認できる

白い台に近づき、台の上の空間、彫像が置かれている場所を懐中電灯で横なぎすると、まるで本当にその空間に置かれていた彫像に当たったかのような振動が懐中電灯から伝わり、彫像の倒れる音と共に、彫像の影が倒れる。

本作品はHTCのVRヘッドマウントディスプレー(HMD)「VIVE」のトラッキングシステムを使って実現している。展示スペースである部屋と同等の広さの3D空間に、現実空間と同じサイズの展示台、キャンバスを仮想的に制作。懐中電灯は、中にVIVEのコントローラーが仕込まれている疑似的なモノで、実際は台やキャンパスの方に向いた部屋の上部に設置されたプロジェクターから、PCで処理した3Dデータの映像を投影している。

懐中電灯の中には、VIVEのコントローラーを内蔵。部屋の上部に設置されたプロジェクターから映像が投影される

VIVEのコントローラーは、VIVEのシステムにより位置がトラッキングされる。そのシステムを利用して、コントローラーを懐中電灯と見立て、3Dデータ上ではコントローラーを向けた方向に光を差し、台の上に置かれた彫像の影が表現される。その影のみをプロジェクターで現実空間に投影しているのだろう。以下、メイキング映像では左側がVR上で描かれる3Dデータの様子、右側が現実空間に投影する影の状態となっている。

今回の展示会ではPCとVIVEはバックグラウンドに隠してあり公開していないが、不可視彫像の影を楽しんで貰ったあと、VIVEを被って貰い、どんな彫像が隠れていたのか答え合わせを行なうこともできるようだ。

3Dデータを処理し、VR用に左右2つの映像を出力、加えてプロジェクターで投影を行なうとなると、PCはとても高性能なデスクトップになるかと思われる人もいるだろうが、実際はGeForce GTX 1060以上と、VR推奨環境以上のスペックがあれば問題なく、今回はマウスコンピューターのクリエィティブ向けブランドDAIVのノートPC「DAIV-NG5720S1-SH2」(直販価格 16万4800円)を使用しているという。

「DAIV-NG5720S1-SH2」

「DAIV-NG5720S1-SH2」の主なスペック
液晶ディスプレー15.6インチ(1920×1080ドット、ノングレア、sRGB比95%)
CPUインテル Core i7-7700HQ (4コア/8スレッド、2.8~3.8GHz)
グラフィックスGeForce GTX 1060(3GB)
メモリー16GB(PC4-19200)
ストレージ256GB SSD(M.2 SATA3)、1TB HDD(5400rpm)
通信機能IEEE802.11a/b/g/n/ac(最大433Mbps)、Bluetooth V4.2+LE準拠
インターフェースHDMI出力、ミニDisplayPort出力×2、USB3.1 Type-C×2、USB3.0×3、マルチカードリーダー、ギガビットLANほか
サイズ/重量385(W)×271(D)×31.5(H)mm/約2.8kg
OSWindows 10 Home (64ビット)

作品を見させて頂いた後に制作者である坪倉輝明氏(以下、略称)、お話を伺う機会を得たので、作品のことや作業環境について伺ってみた。

編集部 VRでの作品というと、VRヘッドセットを被って、VRで何かを「見る」モノが一般的だと思うのですが、なぜこのような作品をつくられたのですか。

坪倉 私は1年で12会場くらい、海外でも中国、韓国6会場ほどで開催されている「魔法の美術館」という企画展にて、作品を多く展示しています。美術館だと、いろんな人が作品を展示していますが、作品が似通ってくるんですよね。なんか違うテイストの作品を出したいと思っていました。

そこで、美術館に置いた時に面白いモノは何だろうと考えたのですが、美術館ってみんな白い展示台に載っていて見るモノが多いんです。そこで、白い展示台の上に何かしらが載っているのが当たり前ならその逆で、展示台はあるのに、「展示されている作品がない」作品をつくったら面白いんじゃないだろうか、といったところから「不可視彫像」という作品のアイディアが生まれ、そこから観覧する作品を増やして、今回の「不可視美術館」という形で展示させて貰っています。

メディアアーティストの坪倉輝明氏

編集部 影の演出は最初から考えていたのですか?

坪倉 7年ぐらい前に同じように懐中電灯を使って影を探し、触れると何かしらの立方体が転がり、掴み上げると持ち上げた際の影ができるという「シャドウタッチ」という作品をつくりました。今回は、そのノウハウを元に、今の技術で懐中電灯と影を使ったインタラクティブな作品をつくろうと考え、このスタイルに行きつきました。

編集部 そうした演出を可能にするため、すべて3Dデータでつくられているのですか。

坪倉 そうですね、部屋のサイズや展示台の位置、サイズなどを計測し、3Dの中でも同じ空間を制作します。シミュレーションに近いんですが、プロジェクターの位置や角度、投射角、レンズシフトがどれぐらいかかっているか、壁、額の位置などもすべて合わせて、(現実空間と)同じ状態をつくっていくんです。そこから、VIVEのトラッキングシステム「Lighthouse」によって、コントローラーを搭載した「懐中電灯」の位置をトラッキングし、3D空間のその位置に光源を置きます。そうすることにより、その懐中電灯の位置から光を当てた際に、どう影ができるかシミュレーションし、その影を最終的にプロジェクター1台で(現実空間に)再現しています。

すべてをシミュレーションしているため、先ほどご覧になって頂いたように、懐中電灯を使って彫像に触れると当たり判定があり、影が転がる現象をつくれるんです。

VIVEを被って見ると、どんな彫像が隠れていたのかを確認できる

編集部 なるほど。話を聞いていると、とても負荷のかかる作業をしているように思えるのですが、開発環境としては、どれぐらいのスペックのPCを使われているのでしょうか。

坪倉 VRの技術を使っているので、VRの動作スペック以上の性能があれば大丈夫です。今は以前から使わせて頂いていた、マウスコンピューターさんのDIVEシリーズのノートPCを使わせて貰っています。

編集部 以前から使われていたとのことですが、何故マウスコンピューターさんのPCを選ばれたのですか。

坪倉 結構外での展示が多かったので、持ち運びができるVR ReadyのPCが欲しかったのですが、そこで注目したのがコストパフォーマンスが良く、小型なマウスコンピューターさんのデスクトップPC「LITTLEGEAR」を使っていました。

編集部 今は「DAIV-NG5720S1-SH2」とノートPCを使われていますが、今後もノートPCが主流になりそうですか?

坪倉 そうですね、デスクトップだと液晶などと一緒に持ち運ばないといけないので、大荷物になって大変なんですよね。そのため、今は家でガッツリ作業するときは「LITTLEGEAR」で、外で作業する際はノートPCでと使い分けています。外出先では過去に実際にあったこともあるのですが、突然電源が落ちるトラブル時でも、ノートPCなら内蔵バッテリーがUPS代わりにもなるので安心できます。

インターフェースの位置もHDMIのすぐ横にUSBポート※があるなど、VRを使う人への配慮があり、分かってるなぁ~って思いました。SDカードから画像などのデータを移すこともあるのですが、ノートPCだとデスクトップと違い最初からSDカードが使えるのもいいですね。また、一般的なノートPCでは、グラフィックス処理の負荷状況によってCPU内蔵のGPUと、GeForceとが切り替わるのですが、今使わせて貰っているマウスコンピューターさんのノートPCには、「GPU Switch」機能によりGeForceに固定できるという点も選択した理由のひとつです。

VIVEやOculus RiftといったVRHMDは、ヘッドセットから伸びるケーブルが二股に分かれてUSBとHDMI端子があるため、その2つのポートが近くにないと取り付けづらい。

編集部 3D空間の処理と、プロジェクターへの出力ととても負荷が高そうですが、スペック的には足りているのでしょうか。

坪倉 不可視美術館の場合は、今回展示をしていませんが、プロジェクターからの出力のほかに、バックヤードの方のVIVEで、VR上でどういったモノが置いてあったのかを確認できるようになっています。そのため、3Dデータの処理とプロジェクターの出力を同時に行なっているのですが、今使っているDAIVでは、問題なくサクサク動作しています。

編集部 マシンパワーも申し分ないのですね。ほかにマウスコンピューターさんならでは魅力というものはありますか。

坪倉 サポートがしっかりされているのがイイですね。私は結構めんどくさがりだったり、活動時間が夜遅いことがあったりするのですが、そんなときでも24時間気軽に連絡できるLINEサポートがあるのがうれしいですね。メッセージを送っておけば返事を返してくれるという手軽さは、ありがたいですね。

LINEでの問い合わせは、同社のホームページにあるQRコードを読み取り友だち登録し、トークを開いた後「LINEでトークサポート開始」を選び問い合わせを行なう。24時間365日対応で、電話のように待たされることなく気軽にメッセージを送っておけば良いのが魅力。そのほか、サポートページでは、電話の混雑状況修理作業目安の時間をリアルタイムで確認可能

編集部 VRHMDは「VIVE」を採用しているのは、やはり「Lighthouse」によるルームスケールが使えるからですか。

坪倉 そうですね。以前はモーショントラッキングを行なおうとすると、何千万、何百万円の機材が必要だったところ、10万円くらいで実現しているので、とても使いやすいですね。いずれは、もっと広いエリアで使える「ハウススケール」になるとも言われているので、そうなったら美術館全体で不可視彫像が置けるようになるかもしれませんね。

編集部 ほかに何か今後使いたいVRHMDなどはありますか。たとえば、今年後半に続々登場するWindows Mixed Reality対応製品などはどうでしょう。

坪倉 外部センサーを使わずにトラッキングできる「インサイドアウト方式」を採用しているため、移動エリアに制限がなく、どこまででも行けることでのメリットによる作品づくりができるという意味ではおもしろいですよね。しかし、作品をつくるにあたり、不可視彫像もそうですが、絶対座標が欲しい場合もあります。絶対座標がないと、マーカーなどを置かないと位置の特定ができないため、不可視彫像など、プロジェクション作品の場合は「Lighthouse」の方がやりやすいかと思います。

編集部 今後、今回展示された作品を別の場所での展示を行なう予定や、進化させたいポイントなどがありましたら教えてください。

坪倉 今回は不可視彫像以外に、絵画を増やして「不可視美術館」としましたが、もっと美術館にありそうなモノをどんどん増やしていきたいですね。

編集部 具体的には、どんなモノを増やしていきたいとお考えですか。

坪倉 半透明なモノの表現ができないかなと思っています。ガラスやステンドグラスなどに懐中電灯を照らした際にできる影や、立体的なビンやグラスに光を当て、透過して後ろに出る光の表現なんかができれば、おもしろいかなと思います。

編集部 なんというか想像できないですね。ぜひ、どうなるのか見てみたいです。ぜひ実現してください、今後の活躍に期待しています。

●関連サイト

■関連記事