新清士の「メタバース・プレゼンス」 第182回

10年間作れなかったアプリが、AIでわずか10日で完成して感動　好きなキャラが踊る3Dライブをついに実現

難しかったのはモーション品質の確保

　ただし、この仕組みで難しかったのが、データベースに登録するモーションの品質を確保することです。当初は、無料で公開されているモーションを登録していたのですが、そもそも品質にばらつきがあり、ジャンルにも偏りがあったり、さらにVRM向けに最適化されていないこともあり、生成されるダンスの出来が微妙だったのです。

　ところが、H3でダンス動画を大量に生成し、そこからモーションデータを作成すれば、より品質の高いデータを揃えられる可能性が出てくるのです。曲全体のダンスを一度に作らせるのは、H3の生成限界が15秒であるため現実的ではありません。そのため、作成したデータを1〜2秒ずつに分割し、Dance Composerで扱えるようにして、曲全体のデータを作るのが現実的な選択肢になってくるわけです。

　早速、さまざまな種類のダンスをAIに管理させ、H3で作成しました。テクノ・ヒップホップ・ジャズ系、ターンやジャンプの基本動作、K-POP・チア・パラパラ・ヲタ芸・バングラなどのジャンル、それにライブで歌う際の仕草まで、思いつく限りのものを作っていきました。一晩中、RTX 4090搭載PCが唸りを上げ続け、最終的には1本15秒の動画データが58本できました。

　できた動画を順次、RGBMocapで3Dデータに変換し、BlenderでVRMにボーンを適合させたあとに、AIがモーションの内容を解析し、適切な長さに分割することで、1242個のモーションを登録したデータベース「句の庫」ができあがりました。

　ただし、できたモーションは、実際に表示して確認し、調整を繰り返しています。例えば、2Dから変換したモーションデータの弱点は、足が滑っているように見える動きになりやすい点です。それらの補正でも、何度も試行錯誤を繰り返しました。

　注意点を一つ。RGBMocapに含まれているアルゴリズムには商用利用不可という条件のものがあり、作成したデータの商用利用はできない点に注意が必要です。商用利用を目的とする場合には、商用利用可能なMetaの「SAM 3D Body」でのモーション作成をお勧めします。ただし、データにはさまざまな調整が必要です。

H3を使って生成したダンス動画の一部