新清士の「メタバース・プレゼンス」 第182回

10年間作れなかったアプリが、AIでわずか10日で完成して感動　好きなキャラが踊る3Dライブをついに実現

Godotで演出を磨き3Dライブを完成させる

　そして、Dance ComposerはThree.jsで作成していたのですが、機能面でライティングなどの表現に限界がありました。そこで、よりリッチな映像を出力できるよう、Godotでビューアーアプリを作り直しました。Unreal Engineなどに比べると映像の品質では及びませんが、Godotは、無料で使えて軽いため非常に使いやすいゲームエンジンです。

　といっても、実際の実装は、Opusが行っているため、筆者はGodotの実装中の画面を一切見ておらず、できあがったものをひたすらチェックして修正指示を繰り返す形で開発しています。ただ、エンジンが軽いために、この作業を素早く繰り返せました。

　Godotに移行してからの百夜ステージの開発はすんなりと進み、ステージやエフェクト、色などの演出の制御、自動カメラなど思いつく限りの機能を追加していきました。歌詞をモーション風に加工する「JIZURA」のレイヤーを3D空間に配置して、立体的に動き回るデータとして扱える独自スクリプトも作りました。

ライトエフェクトやステージモニターをテストしている画面

　また、VRM自体も新規に作成しました。当初使っていたVRMモデルは、2022年に筆者が「VRoid Studio」で作ったものでしたが、さすがに情報量の不足を強く感じ、エフェクトの多いコンサート空間には派手さが足りない印象でした。

　そこで、Nano(ナノ)さんが公開しているキャラクター制作支援キット「きゃらくる」を使って、情報量を増やしたVRMモデルを作ることにしました。このアプリは、3D AIサービスの「Tripo」と連携することで、1枚の立ち絵があれば、そこから3Dモデルを作成し、リギングやボーン設定まで行ってくれる仕組みです。GPTに最適化されていますが、Claude Opusでも問題なく動きました。ただし、画像はGPTを使うか、他のサービスやローカルモデルを使って作成する必要があります。

　また、バックダンサー用のモデルも欲しかったため、Opusに指示して色違いのモデルもBlender MCPで作成させています。

「きゃらくる」に筆者の素材データを入力している画面

作成された3Dモデル。ただし、完成後にBlender MCPでかなり細かく調整している

作成した色違いキャラ。赤から青と白を作成した

　ある程度まとまると、今度は演出調整を繰り返していきます。モーションパートやライティング、自動カメラのタイミングなど、気に入らない部分を入れ替えたり、さらに効果的に見えるであろう構成に差し替えたり。そうした指示をOpusに繰り返すことで、ブラッシュアップが進みます。どんどん豪華になっていく画面に、楽しくなっていったのは言うまでもありません。