新清士の「メタバース・プレゼンス」 第82回

もはや実写と間違えるレベル　動画生成AI「Runway」の進化がすごい

破綻させず長時間の動画を作る方法も

　一貫性を保ちながら、それなりの長さの動画を作るにはどうすればいいのか。冒頭の明日来子さんの動画は、最初の始点画像を指定して、最初の10秒の動画を作成して、その完成度が高かった場合には、動画の終点をスクリーンショットとして書き出し、今度はそれを始点画像として、新たに動画を作っています。それを繰り返し3回分の動画を作成します。ループさせるため、3回目の動画は、終点画像を最初の画像を指定します。

Gen 3 Alpha Turboの画面。同時に2個の動画まで生成できるため、生成の失敗が起きる前提で、2個の生成を指定しておくことが多い

　そして、何度も作り直して自然に見えるものを選び、動画編集ツールの「DaVinci Resolve」を使って結合しています。足音といった効果音も、効果音作成AIサービスの「ElevenLabs」を利用して作成して合わせています。

DaVinci Resolveでの編集画面。基本機能は無料で使えるため導入しやすい

　もちろん、この方法では10秒ごとにカメラの動きが変わってしまったり、動画の生成は質感がだんだんと単純化してしまうため、完全に問題がないとまでは言えません。いろいろ生成しているとわかりまが、キャラクターが突然後ろに歩きだしたり、オブジェクトの前後関係の認識は苦手な部分があったりと、動画生成AI特有のおかしな部分は残っています。

　ただ、当然こうした課題点をRunwayが認識していないとは考えにくく、そう遠くない将来に、1枚の画像から、1分なりの動画を、動画間のカメラワークをなだらかにしながら一貫性を保ちつつ生成する機能が実現されていくだろうと予測します。

　また、逆に、画像生成AIに応用していくやり方も可能ではないかと思えます。画像生成AIでは、キャラクターの顔や服装などの一貫性を維持することは、現在でも難しいですが、Gen3を使って生成した動画から画像を切り出し、ControlNetを使ったり、LoRAを作成することで、逆に応用していくという方法はあるだろうと思えます。

▲グーグル「ImageFX」で作った架空のアイドル画像1枚から、明日来子さんと同じ方法で3つの動画を生成して繋げたもの

風景の一貫性も強い。Midjouneyで廃墟イメージの画像を作り、生成したものをつなげたもの。画面内に存在しないものまで、一貫性を維持しつつ描けている。ただし、プロンプトで指定した鳥はオブジェクトサイズのミスが目立つ。音楽はSuno AIを利用