新清士の「メタバース・プレゼンス」 第182回

10年間作れなかったアプリが、AIでわずか10日で完成して感動　好きなキャラが踊る3Dライブをついに実現

筆者作成の「百夜ステージ（Hyakuya Stage）」のスクリーンショット

　今回は筆者がAIを使って作成したコンサートアプリの紹介です。Claude「Opus 5.5」を中心に、AIによるダンスモーションの自動作成、ライトやカメラなどの自動演出機能を持たせ、アバターフォーマットの「VRM」を使って、リアルタイム3Dでキャラクターを自動的に踊らせるシステムを作りました。実作業時間は約10日間です。動画AIも組み合わせることで、どんな音楽にも合うモーションを作れる仕組みにしています。その工夫とメイキングを紹介します。

百夜ステージ（Hyakuya Stage）のスクリーンショット

△百夜ステージ（Hyakuya Stage）の予告編

百夜ステージのitch.io公開サイト（無料公開）

10年来の構想をAIとともに形にする

　筆者は10年前のVRブームの頃から、自分が作成した音楽に合わせて自動でダンス動画を作り、好きなキャラクターによるコンサートを設定し、自由に鑑賞できる環境を構築できないか……と考えていました。UnityやUnreal Engineでそうしたアプリも作ってみたことはあったのですが、いかんせん技術力が足りなかったため、満足のいくものを作ることはできず、早々に挫折していました。

　ところが、AIの性能向上によって、この分野でも、バイブコーディングが可能になってきました。今回、筆者は「百夜ステージ（Hyakuya Stage）」というアプリを作成し、ゲームなどの公開サイト「itch.io」で無料公開しました。

　AI音楽サービス「Suno」を使って作成した4曲の音楽に、AIを使って設計したダンスと、自動で生成されるライティングやカメラの演出を組み合わせた、リアルタイム3Dのコンサートビューアーアプリです。

　アバター用のVRMフォーマットに対応し、任意のVRMモデルに切り替えられるようにしています。同梱しているVRMモデルは、3D AIサービス「Tripo」と連携してVRMを作れる「きゃらくる」というシステムで作成しています。

　開発作業のほとんどはClaude「Opus 5.5」を使いました。アプリ部分はゲームエンジン「Godot」で、2日あまりで作成し、品質の調整や機能の強化に1日あまりをかけています。

　ただ、事前準備として、AIが作成した曲を分析して、演出方針を決め、それに合わせてアニメーションを選ぶ「Dance Composer」というアプリを開発したり、歌詞の表示システム「JIZURA」で作成したデータをレイヤー化して3D空間で立体的に表示する独自システムを開発して組み込んだりしています。それらの作業に1週間かかっているので、プロジェクト全体の作業時間は10日あまりです。