新清士の「メタバース・プレゼンス」 第182回

10年間作れなかったアプリが、AIでわずか10日で完成して感動　好きなキャラが踊る3Dライブをついに実現

1242個のモーションで曲に合うダンスを作る

　ここで一つ気がついたことがありました。このワークフローをさらにうまく応用すれば、より品質の高いモーションを自由に数多く作れるのではないか、ということです。

　筆者が以前からライブ・コンサートのアプリを作ろうとする際、大きなネックになっていたのが、モーションデータをどうやって用意するかでした。

　アバターは、VRMといった汎用的なフォーマットで用意できるものの、任意の曲に合わせて的確にダンスさせるためのモーションをどう作るのかが課題だったのです。自動ダンス生成の技術も出ていましたが、あまり品質が高いとは言えませんでした。といっても、手作業でつけるのは、現実的ではありません。

　筆者はこれまでにも「Dance Composer」というアプリをAIで開発していました。

　これは任意の音楽ファイル（MP3）と歌詞を登録し、全体をどのように演出するかをAIに指示すると、その音楽を解析して、変化するポイントを割り出し、そのシーンに合ったモーションをVRMに自動でつけてくれるというものです。最初の指示をもとにしたプロンプト生成はLLMで行い、細かなモーションの割り当ては、自動スクリプトで実行していきます。

　モーションについては、1〜2秒程度の動きを集めたデータベースを、さまざまなタグを付けたうえであらかじめ作っておきます。スクリプトが、その中からシチュエーションに合ったモーションデータを選択し、自動的に曲全体にモーションを付けるようにしました。曲に合わせて短いモーションを適用することで、どんな曲であっても、それに合わせたダンスを作れます。

Dance Composerの画面、右側がリズム解析部分

AIが曲と歌詞を分解して生成したモーション割り当て用のスクリプトの一部

モーションのデータベース「句の庫」