新清士の「メタバース・プレゼンス」 第32回

動画生成AIがすごすぎる　映画登場も遠くない

Runway「Gen-2」で筆者生成の動画より

　1枚の画像からAIが動画を生成する、ランウェイ（Runway）社のサービス「Gen-2」が大きな話題になっています。

　ランウェイは2018年創業のスタートアップ。もともとStability AIと共同でStable Diffusion用のデータモデルの開発を進めていましたが、現在は完全に独自のサービスを展開しています。画像生成AIはStability AIが先に行ってしまったので、生成AIでの動画作成にフォーカスして、技術開発とサービス展開をしています。今年6月には、Google、NVIDIA、セールスフォースなどから1億4100万ドル（約200億円）の資金調達を受けるなど、生成AI企業のなかでも大きく注目を浴びています。

わずか2分で画像が動画に

　今年2月に発表された第1世代の「Gen-1」は、動画をプロンプトに応じて別の動画へと変換する（video to video）サービスでしたが、今年6月に一般にもリリースされたGen-2からは、描いてほしい場面をテキストプロンプト（入力命令）として入力すると、動画を生成する「text to video」が実現できるようになりました。

　4秒間の非常に短い動画ですが、首尾一貫性を保たせて動画を成立させているところがすごいです。ただ、ある程度コントロールできるとはいえ、テキストだけでは期待したとおりの画像を狙って出せないという課題がありました。

Gen-2の紹介動画。text 2 videoを紹介している

　そのGen-2が7月下旬にアップデートして、画像から動画を生成する「image to video」が追加されました。1コマ目の画像を指定できるようになり、狙った場面を作り出しやすくなったんです。ただし現時点では、プロンプトを追加すると画像がほとんど無視される結果になってしまうので、画像からどんな動画が生み出されるかはランダムに近い状態です。それでも非常に品質の高く動きのあるショートクリップが作れるということで話題になりました。

　個人的にいくつか実験をしたなか、うまくいったものがこちらです。1枚の画像を放り込み、2分ほどでこれくらいの動画が出てくるというのは驚きです。

「画像生成AIに2度目の革命を起こした『ControlNet』」で使用した、葛飾北斎の神奈川沖浪裏を翻案した画像をGen-2で変換。波などの自然物の描写は得意のよう（筆者作成）

　今はまだできませんが、そのうち、基本的な動きやカメラワークもプロンプトで指定できるようになっていくのではないかと思います。新しい映画、映像としての可能性が見えてきますよね。まだ数秒程度の動画しか生成できないとはいえ、機能追加からすぐに、こうしたものが出てきてしまっているというのは驚きです。

　インストラクショナル・デザイナーの境 祐司さんもGen-2でミュージックビデオを作成されており、その作成ノウハウを公開されています。

　境さんによると、Runway自身も静止画の画像生成機能をもっているのですが、それを使うより、画像生成AI「Midjourney」で生成したリアル系の横長画像を使った場合、出力結果が望ましいものが出やすいという傾向があるようです。解説動画の中で、「ラフカットで素材として使うレベルで言うなら、本当は2年ぐらいかかると思っていたけど、半年ぐらいで、もしかしたら年内でいくのではないかという気がしています」（境さん）と述べています。

境さんが作られたMVのカットより（動画は境さんのnoteで見られます）