10月14日に、アドビの「Adobe Firefly Video Model」が正式発表されました。単体での動画生成ができるようになる予定ですが、まずはベータ版として、動画編集ソフト「Adobe Premier Pro」に、既存の動画に2秒間追加で動画生成をできる機能が公開されました。この夏以降も、動画生成分野は新しいサービスが次々誕生しており、活発化しています。そしてそれらの統合的な動画編集環境を巡る競争へと範囲が広がろうとしています。前回の記事に続き、動画生成AIの今後を探ります。
※記事配信先の設定によっては図版や動画等が正しく表示されないことがあります。その場合はASCII.jpをご覧ください
「二次元の壁を超えた」バズった動画生成AIを試す
最近、動画生成AIでバズっていて面白かったのが、実在のリアルな人物が、二次元キャラクターと境界を超えてハグをするという内容の映像です。ある意味、オタクの願望を実現するということで話題になりました。
The future is now pic.twitter.com/ybtWn13Iti
— Rock solid (@ShitpostRock) October 14, 2024
「えっ、こんなことできるの」ということで、実際に同じような画像が作れないか試してみました。過去に、自分のプロフィール写真をもとに、Midjouneyの画像参照機能を使って生成した似顔絵を使って、3DアバターのVRMのスクリーンショットと合成して、1枚の画像にして動画を生成しました。自分でない自分のような人の画像を使っているので、出来上がりが自分で見ていても、だいぶキモい感じになってしまいましたが……(笑)。
▲作成した動画(12秒)。男性は筆者とはだいぶ違います(笑)。VRMは「VRM Posing Desktop」で撮影している。
初めに、動画生成サービス「Runway Gen3 Alpha Turbo」(前回参照)で、スクリーンショットを指定して生成してみたものの、思ったような効果が得られず、ほとんど動かないという結果でした。どうも、Gen3は、一貫性を維持するために、極端に大きな動きをさせて、動画の画像が崩れるのを避けるようにしてあるようです。VRMデータに男性の画像を追加して、始点と終点を指定するとキレイに決まりましたが、これではバズった動画を作り出せないので、あまり良い結果とは言えないですね。
▲Gen3 Alpha TurboでVRMの男性キャラと女性キャラで、ハグをさせようしたもの。何度も生成したがうまくハグまで進まない(前半5秒)、ハグの終点画像を作成したところ、ちゃんと自然なハグ画像を生み出せた(後半5秒)
バズった動画は、8月に発表された、中国Shengshu Technologyと清華大学が共同開発した動画生成サービス「Vidu」によって作り出されていました。生成結果は4秒と制限があるのですが、そちらで生成してみたところ、うまく行きました。
さらに、動画の終点部分をスクリーンショットとして撮影し、プロンプトに「deep kiss」を追加したりして、さらに4秒作成して、つながった動画にできるようにしています。もちろん、コマ送りにしてみると、同一性の維持が難しく、崩れている部分があります。Viduは面白い動きをする代わりに、個々のカットの一貫性が弱い印象がします。ただ、なんとなく瞬間的には誤魔化されてしまいそうです。
そして、その動画をAdobe Premier Proに読み込み、Firefly Videoの機能を使って終点で2秒延長をしました。1つの動画を延長できるのは1回限りで、時間は2秒との制限があるのですが、延長した状態で一度動画として書き出して、さらにその動画を読み込むと、同じように2秒延長できます。その方法を使えば無限に伸ばすことも原理的には可能です。合計で4秒追加して、全体で12秒というサイズにしてみました。
Firefly Videoの操作自体は簡単で、動画の2秒延長は簡単にできます。新しく追加された「生成拡張(ベータ)」を選択します。それで動画の終了部分を引っ張るだけで、映像2秒を延ばすことができます。いまのところサイズが1280x720など横長2種に固定されており、プロンプトの入力もできないので、無条件で使いやすいというわけではないんですが。
この連載の記事
-
第85回
AI
誰でもVTuber時代へ フェイシャルAI技術、続々登場 -
第84回
AI
画像生成AI「Stable Diffusion 3.5」性能はものたりないが、自由度が高いのは魅力 -
第82回
AI
もはや実写と間違えるレベル 動画生成AI「Runway」の進化がすごい -
第81回
AI
AIイラスト、こうしてゲームに使っています -
第80回
AI
ゲーム開発はAI活用が当たり前になりつつあるが、面白さを作り出すのは人間の仕事 -
第79回
AI
AIが考える“アイドル”がリアルすぎた グーグル「Imagen 3」なぜ高品質? -
第78回
AI
話題の画像生成AI「FLUX.1」 人気サービス「Midjourney」との違いは -
第77回
AI
画像生成AI「FLUX.1」が相当ヤバい LoRAで画風の再現も簡単に -
第76回
AI
「Stable Diffusion」の失敗に学び、画像生成AIの勢力図を塗り変える「FLUX.1」 -
第75回
AI
商業漫画にAIが使われるようになってきた - この連載の一覧へ