新清士の「メタバース・プレゼンス」 第182回

10年間作れなかったアプリが、AIでわずか10日で完成して感動　好きなキャラが踊る3Dライブをついに実現

動画AIとモーション抽出を組み合わせる

　このビューアーの開発につながる重要なヒントとなったのは、Xに投稿された一つの動画をきっかけに、さまざまな表現手法が開発されたことでした。

　発端となったのは、Kaku Drop（架空飴）さんがXに投稿して話題になった動画です。人間の姿をくっきりと描き出し、ダンスに合わせて視点がさまざまな角度に切り替わります。映像の合成を使って3Dを表現する3Dガウシアン・スプラッティング（3DGS）を使っているようなのですが、これほど高品質な動画をどうやって実現しているのかが、当初は不明でした。後日、15台ものカメラで撮影していることが明らかにされ、簡単には真似できないことがわかりました。

Xの投稿を見る

△Kaku Drop（架空飴）さんの投稿

　この投稿には、中国語圏を含むさまざまなユーザーが反応し、かなり話題になりました。そして、もっと手軽に実現できないかと、さまざまな手法が模索されることになりました。そこで発見されたのが、動画AIを使って擬似的にKaku Dropさんの方法を真似る手法です。

　OJI3さんの方法では、まるで3DGSのような動画を作成できています。実はこれは、動画AIモデル「MiniMax H3」をローカルで動かして生成した動画でした。

Xの投稿を見る

　これを実現するために、OJI3さんは、10月27日にtoyxyzさんが公開した「RGBMocap」を利用しています。

　これは2D動画を分析して、3Dモーションを作成するアプリです。機械学習でモーションを作成する有名な研究はいくつも登場しているのですが、使いやすいUIを持つアプリが存在しない状況でした。このアプリでは、ダンスの動画さえ与えれば、それを自動解析して、どんな3D環境でも容易に扱えるモーションデータを生成してくれるのです。

Xの投稿を見る

　OJI3さんは、まず任意の動画から、RGBMocapでモーションを抽出し、Blenderに取り込みます。カメラ位置を変えながら、その動きを動画として撮影しています。それを参照動画として動画AI「MiniMax H3（H3）」に読み込ませ、差し替えたいキャラクターも設定し、キャラクターを差し替えられる「H3-Character-Swap-LoRA」を使うことで、あたかも3DGSのような動画に仕上げているのです。

Xの投稿を見る

　筆者も同じ方法を試してみることにしました。権利面での安全性を確保するため、ダンス動画をH3で生成します。その動画をRGBMocapで解析し、モーションを抽出しました。そして、それをBlenderに読み込み、カメラがキャラクターの周りを回転する動画を作成しました。

　次に、その動画を参照動画として、さらにゲストキャラの田中さんの画像と背景画像を参照画像としてH3で動画を生成しました。指定したキャラクターがダンスする動画を作ることに成功しました。固定視点の動画を一度3D化することで、カメラ位置や人物、背景を自由に変えて動画化できています。

△H3で作ったダンス動画（左）、RGBMocapの画面（右）

△H3で生成した動画（左）、参照画像の人物と背景（右）