新清士の「メタバース・プレゼンス」 第32回

動画生成AIがすごすぎる　映画登場も遠くない

Stable Diffusionで動画生成「AnimateDiff」に注目

　いま、AIによる動画生成はホットな分野です。

　ランウェイは今年2月、動画生成に関する論文を発表していますが、実はこれを受ける形でStable Diffusionでも同様の研究発表がありました。それが7月10日に登場した「AnimateDiff」。ビデオクリップで独自に訓練した「モーション・モデリング・モジュール」という仕組みによって、首尾一貫した動画を生成可能にするというものです。

花火#AnimateDiff
AI Art / StableDiffution pic.twitter.com/9N8ZZbHTxj

— Artoid XYZ (@Artoid_XYZ) July 30, 2023

AnimeteDiffの作成例

　AnimateDiffは上海AIラボ、香港中文大学、スタンフォード大学の共同研究。ControlNetを作ったチャン・リュミンさんが所属していた大学が関わっていることもあり、画像生成AIでの研究人脈も感じられますね（「画像生成AIに2度目の革命を起こした『ControlNet』」参照）。

　発表時には60GBものビデオメモリーが要求されるなど動作環境のハードルが非常に高く、事実上、専用の環境でなければ動作不可能なものでした。ところが発表後わずか1週間で12GBまでビデオメモリー容量を下げる方法が見つけられ、ビデオメモリー24GBの「NVIDIA GeForce RTX 3090」以上なら動作することが確認されました。

　その後「Stable Diffusion web UI（AUTOMATIC1111 版）」の拡張機能として移植され、専用の独立したソフト「Vision Crafter」も登場しました。複数の画像を同時に作るという性質からビデオメモリーの要求は高く、動作環境を持つ人は限られますが、アニメ風のキャラクターであっても自然な動きを実現できる可能性が出てきています。

　現在は2〜6秒程度の生成ができますが、長時間になるほど破綻する絵が出る傾向が高いようです。

AnimateDiff専用アプリ「VisionCrafter」で生成した6秒の動画サンプル。生成時間はNVIDIA GeForce RTX 4090環境で3分程度。自動生成の音楽生成機能も入っている

「VisionCrafter」の画面