新清士の「メタバース・プレゼンス」 第83回

リアルすぎてキモい　動画AIの進化が止まらない

動画生成サービス「Vidu」で生成した動画のスクリーンショットを、静止画にも耐えうるようi2iで加工したもの（筆者作成）

　10月14日に、アドビの「Adobe Firefly Video Model」が正式発表されました。単体での動画生成ができるようになる予定ですが、まずはベータ版として、動画編集ソフト「Adobe Premier Pro」に、既存の動画に2秒間追加で動画生成をできる機能が公開されました。この夏以降も、動画生成分野は新しいサービスが次々誕生しており、活発化しています。そしてそれらの統合的な動画編集環境を巡る競争へと範囲が広がろうとしています。前回の記事に続き、動画生成AIの今後を探ります。

※記事配信先の設定によっては図版や動画等が正しく表示されないことがあります。その場合はASCII.jpをご覧ください

「二次元の壁を超えた」バズった動画生成AIを試す

　最近、動画生成AIでバズっていて面白かったのが、実在のリアルな人物が、二次元キャラクターと境界を超えてハグをするという内容の映像です。ある意味、オタクの願望を実現するということで話題になりました。

The future is now pic.twitter.com/ybtWn13Iti

— Rock solid (@ShitpostRock) October 14, 2024

　「えっ、こんなことできるの」ということで、実際に同じような画像が作れないか試してみました。過去に、自分のプロフィール写真をもとに、Midjouneyの画像参照機能を使って生成した似顔絵を使って、3DアバターのVRMのスクリーンショットと合成して、1枚の画像にして動画を生成しました。自分でない自分のような人の画像を使っているので、出来上がりが自分で見ていても、だいぶキモい感じになってしまいましたが……（笑）。

▲作成した動画（12秒）。男性は筆者とはだいぶ違います（笑）。VRMは「VRM Posing Desktop」で撮影している。

　初めに、動画生成サービス「Runway Gen3 Alpha Turbo」（前回参照）で、スクリーンショットを指定して生成してみたものの、思ったような効果が得られず、ほとんど動かないという結果でした。どうも、Gen3は、一貫性を維持するために、極端に大きな動きをさせて、動画の画像が崩れるのを避けるようにしてあるようです。VRMデータに男性の画像を追加して、始点と終点を指定するとキレイに決まりましたが、これではバズった動画を作り出せないので、あまり良い結果とは言えないですね。

▲Gen3 Alpha TurboでVRMの男性キャラと女性キャラで、ハグをさせようしたもの。何度も生成したがうまくハグまで進まない（前半5秒）、ハグの終点画像を作成したところ、ちゃんと自然なハグ画像を生み出せた（後半5秒）

　バズった動画は、8月に発表された、中国Shengshu Technologyと清華大学が共同開発した動画生成サービス「Vidu」によって作り出されていました。生成結果は4秒と制限があるのですが、そちらで生成してみたところ、うまく行きました。

Viduの編集画面。生成結果は完全にランダムなので、狙った結果を出すには、何度も試行錯誤をする必要がある

　さらに、動画の終点部分をスクリーンショットとして撮影し、プロンプトに「deep kiss」を追加したりして、さらに4秒作成して、つながった動画にできるようにしています。もちろん、コマ送りにしてみると、同一性の維持が難しく、崩れている部分があります。Viduは面白い動きをする代わりに、個々のカットの一貫性が弱い印象がします。ただ、なんとなく瞬間的には誤魔化されてしまいそうです。

　そして、その動画をAdobe Premier Proに読み込み、Firefly Videoの機能を使って終点で2秒延長をしました。1つの動画を延長できるのは1回限りで、時間は2秒との制限があるのですが、延長した状態で一度動画として書き出して、さらにその動画を読み込むと、同じように2秒延長できます。その方法を使えば無限に伸ばすことも原理的には可能です。合計で4秒追加して、全体で12秒というサイズにしてみました。

Adobe Premier Proの画面、編集画面に2秒追加したところ。AIにより生成された動画の部分には「AI生成」という表示が追加される

　Firefly Videoの操作自体は簡単で、動画の2秒延長は簡単にできます。新しく追加された「生成拡張（ベータ）」を選択します。それで動画の終了部分を引っ張るだけで、映像2秒を延ばすことができます。いまのところサイズが1280x720など横長2種に固定されており、プロンプトの入力もできないので、無条件で使いやすいというわけではないんですが。