新清士の「メタバース・プレゼンス」 第128回

これがAIの集客力！ゲームショウで注目を浴びた“動く立体ヒロイン”

Seedream→Wan 2.2→Premier Proで動画作成

　Seedreamの方がイラスト的な雰囲気の品質が高いものになるため、Seedreamでもプロンプトを工夫しながら作っていきます。ダンス動画は、全身像だけでは退屈な動画になるとことを経験的に知っているため、アップになっている画像も作成しました。そして、その中から使えそうなものをピックアップします。また、円形の回転型LEDディスプレーに合うように、画像は正方形で作成します。

アリアのダンス用画像。上がNano Bananaで、下がSeedream

　画像が決まったら、次はローカルでも動く動画生成AI「Wan 2.2」（Zuntanさんの「EasyWan22」を利用）を使って動画を生成していきます。全体の長さは50秒に設定しました。始点画像と終点画像を指定できる機能を利用して各5秒の動画を10本作ります。次々に指定を切り替え、動画を作成していきます。筆者の場合は、同じ設定の動画を2本生成するようにしています。もちろん時間がかかりますが、動画AIの結果はハズレも出るため、2本作っておいて選ぶようにしたほうが結果的に品質を高めやすいのです。筆者のNVIDIA RTX 4090のローカルPC環境では、720pの5秒は約2分で生成できます。

EasyWan22の画面の一部。中央部が始点画像と終点画像の設定画面で、ボタンでの順序の逆転機能があり便利

　これで動画素材ができたら、「Adobe Premiere Pro」に取り込んで編集します。10本を順番通りに並べて的確に並んでいれば問題ありません。ところが、そこで問題が発覚しました。背景が白の状態で画像を作ってしまっていましたが、回転型LEDディスプレーに映すと白があまりにも視覚的にまぶしく、立体感がほとんど感じられません。完成した動画の背景を黒にする必要があります。

　そこで活躍したのが、8月にベータ版に追加された「オブジェクトマスクツール」機能です。これは動画内の任意のオブジェクトにマスクを設定でき、それが動的に移動しても続けてマスクをつけてくれるというものです。これによりキャラクターだけ選択し、背景を黒にすることが簡単にできました。

▲完成したアリアのダンス動画。縁取りが残っているが、回転型LEDディスプレーに表示したところ、気にならなかったので、これでOKとした

Adobe Premiere Proでヒロインを「オブジェクトマスクツール」で選択している状態。剣も別オブジェクトとして認識されるので、それらを両方選択すると、剣を持ったままの状態が維持される

　もう1人のヒロインのセレナは、「剣を持ったポーズ」をとらせ、より3D的な質感を出すようにしました。元々の画像では持っていなかった剣を持つように指示して、様々なポーズのバリエーションを同じように出しました。そこでキレイに作れた画像をベースに動画にしています。ただ、動画になると、剣を持つ手の動きが若干怪しいですが、イベントで展示する動画としてはこれで十分と考えました。これもやはり「Wan 2.2」で動画化して、Adobe Premiere Proで結合させて、背景を削除という順番で完成させています。

　これらの作業にかかった時間は、テストや細かい作り直しなど調整をしていた時間も含めて1日程度です。他の作業も並行して進める必要がある中で、短い時間では、十分に準備できたと考えています。

セレナは、3Dモデルのスクリーンショット（右上）から、Seedreamで立ち絵（右下）を作り、それをNano BananaとSeedreamを使って様々なポーズ（左）を取らせている。ポーズの参考に以前の没画像を使っている

▲セレナの剣舞動画。「オブジェクトマスクツール」は万能ではなく、剣の一部がおかしかったりと気になる点は残ったが、やはり表示をしてみて、ほとんどわからかなったので、今回はOKとした