四本淑三の「ミュージック・ギークス！」 第102回

「歴史に残るコラボを作る」初音ミク×冨田勲と技術屋の情熱

MMDモデルを使ってリアルタイムレンダリング

――　（課題がクリアされていないという話に）ええーっ！

伊藤　光は見えているけど解決には至っていないという。人間の演奏に合わせてミクがパフォームしなければならない。普段と逆のことをやらなければならないんです。

――　なぜ逆にしなければならないんですか？

伊藤　ステージ上には、オーケストラと合唱団がいて、指揮者がマスタークロックになるわけです。その指揮者がクリックを聞いて合わせられないわけではないけど、邪道じゃないですか。テンポも一定ではないはずだし。だから指揮棒に合わせて全員が演奏すると。それはミクも然り、なわけです。で、ミクはコンピュータなので、人間が生み出すタップを、コンピュータが分かるクロックに落とさなければならない。

――　タップテンポの同期はいいとして、一定でないテンポに映像を追従させるのは難しくないですか？

音楽と映像の同期には、データが軽量なMMDモデルを活用する

伊藤　それにあたってはMMDモデルを活用する形になると思います^※5。MMDモデルであれば軽いし、リアルタイムでテンポをいじっても、そこそこいける。感謝祭みたいな滑らかに動く映像にはならないと思うんですけど、MMDモデルを使うことで演奏者に合わせてパフォームするミクをステージ上に出現させられるだろうと。

藍　僕はたまたまMMDみたいなものを動かす実験をやっていたんですね。この話があった時点で時間がなくて、ゼロから研究開発というのは難しい状況だったので、社内でいろいろ探っていたらしくて。それで自分に声がかかったので、これだったらできるんじゃないですかって。

^{※5 MMD : フリーソフト「MikuMikuDance」。3DCGによる映像を制作できる。初音ミクを元にしたCGモデルが付属することも特徴。作者は樋口優（樋口M）さん。詳しくはこちらの特集から。}

――　つまりCGはリアルタイムレンダリングということですよね？

伊藤　はい。

――　リアルタイムで動くCGができたとして、どう表示するかも問題じゃないですか？

伊藤　本当は舞台の真ん中にディラッドボードを立てるのがいいんですが、音を遮断するのでオーケストラ側からNGが出てしまって。それで「会場の上か、端の細い通路に設置してください」ってことになっています。そこの技術的な課題の解決を、札幌のプリズム^※6さんと一緒に考えています。プリズムさんはプロジェクションマッピングで日本で最もノウハウを持っている会社の一つですね。

^{※6 株式会社プリズム。今回のコンサートにも、らぼぷとんと共に映像システム開発としてクレジットされている。8月24日～9月1日開催の「TIGER & BUNNY THE LIVE」（Zepp DiverCity）などにも関わる。公式サイトはこちら。}