リアルすぎてキモい　動画AIの進化が止まらない

2024年10月28日 07時00分更新

文● 新清士　編集●ASCII

Adobe Firefly Videoの性能を試す

　Adobe Firefly Videoの性能を測るために、別の動画でも試してみました。前回で取り上げた「階段を下りる動画」でも試してみて、何度も延長を繰り返すとどうなるのかを試してみました。2秒追加を繰り返してどこまで行けるか試してみました。後半になるにつれて、壁の質感がおかしくなり、ついには前進することをやめてしまいました。

▲階段を降りる動画を無理やり、延長した動画（6秒・動画は倍速）。最初の2秒のみGen3の動画で残りの4秒はFirefly Video。後半になるにつれて質感がおかしくなる

　やはり同じ方法で廃虚のビルを超えていく映像を6秒間延長してみました。Adobe Fireflyで何度も延長をくりかえしています。6秒くらいまで引っ張ると謎のモノが出てきてしまいます。同じことをGen3 Alpha Turboでやると、一貫性が保たれたまま存在しないビルの向こう側の描写もしっかりとされています。現状のFirefly Videoは本格的な動画生成機能ではなく、あと少し足りない時の補完といった目的として実験的にリリースされていることがわかります。

Premiere Pro ベータ版を試してみた。最大2秒の拡張だけど、一度出力して、再度拡張するを2度繰り返し、6秒拡張した（この画像は最初の4秒がGen3で、後半6秒がFirefly）。存在しないものを予測して描くのは苦手っぽく、完成度はFireflyっぽい #AI動画 pic.twitter.com/tvnDltFxN2
— 新清士@(生成AI)インディゲーム開発者 (@kiyoshi_shin) October 15, 2024

比較としてRunway Gen3 turboで８秒拡張してみたもの（前半４秒は同じ、後半８秒が追加）。プロンプト指定ができるという強みと、一貫性は、今はGen3が大幅リードしているように思える。ただし、Gen3は一度内部で生成した動画でないと、拡張機能は使えないという制限がある。 pic.twitter.com/fBugx8D3q0
— 新清士@(生成AI)インディゲーム開発者 (@kiyoshi_shin) October 15, 2024

　最後に、この連載の作例ではおなじみのキャラクター「明日来子」さんがしゃべる動画を作ってみました。

　1枚の画像からGen3 Turbo Aplhaを使って連続動画を作成し、さらに合成音声ソフトの「VoicePeak」を使って音声ファイルを作成し、Runway Gen3のリップシンク機能を使い口パクを動画を作成しています。これは元の画像に音声ファイルを解析して、口の動きを追加して動画を作ってくれる機能です。足音なども「ElevenLabs」という効果音AI生成サービスを使っています。それを最後にAdobe Premier Proで結合して動画ファイルにまとめています。

　細かなミスはありますが、動画ファイルは音などが組み合わさることでぐっと実在感が増すように思えます。ただ、それぞれのデータを一括管理できないので、作成時は少し編集が手間の部分がありました。