新清士の「メタバース・プレゼンス」 第69回

AI動画の品質が仕事に使えるレベルになってきた

アニメの「中割」のような効果、すでに納品に使ったケースも

　さらに、6月28日に「キーフレーム」という新機能を追加しました。これは始点と終点となる画像をそれぞれ指定することによって、生成される動画がそれに合わせて生成されるというものです。

Keyframes have arrived within Dream Machine! Start and end keyframes give you narrative control, while text instructions guide the journey. Change lighting and seasons, control perspectives, morph subjects, and create impossible transitions! All in #LumaDreamMachine 🧵1/9 pic.twitter.com/fbOXcxUTuJ

— Luma AI (@LumaLabsAI) June 27, 2024

　この効果は大きく、画像のランダムに変化する度合いをコントロールできるようになった度合いが高まりました。例えば、似た顔の画像を2枚指定することにより、生成された画像がうまく生み出されると、自然な変化に見えます。もちろんこれも生成結果はランダムなので、完全にはコントロールできず、構図が異なった画像の場合にはまったくうまく出せないということも起きます。それでも、1枚で試行回数をひたすら増やしてたまたまいい出力を得るというものよりも、はるかに有効な動画が出力できる可能性が高まりました。

#LumaAI#DreamMachine の新機能を早速試してみた。最初と最後が、指定した画像になっている。途中、別の人になったりしているけど、うまくつなぐと、コントロールできる度合いが増しそうな気がする。 pic.twitter.com/hQdbZmTlyD

— 新清士@(生成AI)インディゲーム開発者 (@kiyoshi_shin) June 28, 2024

▲いつもの作例に使っている明日来子さんの冬の風景と夏の風景をつなげてみたところうまく、場面転換をしてくれている

▲比較的近い画像の2枚を指定して、サイバーパンク風サムライで比較的うまくしたもの

▲夏の風景で、カメラワークが極端に動いているが、整合性は感じられる

▲同じような絵でも、少し動きがついて実在感が増している

　アニメ系では、うまくつなぐと、アニメの中割りを生み出してくれるような動画が生成できることがわかってきています。自分のイラストを動かしてみたいという人たちが、様々な生成を試みはじめています。

　これはAnimeteDiffなどで研究されてきたControlNetと組み合わせて動画生成を制御する方法が応用されていると予想されています。Soraのような複雑な学習方法を取らなくても、既存の動画生成AIの学習法を拡張していくことでも品質の高い画像が作れることがわかっただけでも、大きな可能性を示しています。

DALLE3で作った差分で表情アニメのテスト
Enhance promptを外して、2つの画像共通のプロンプトで構図を固定するとうまくいく印象です#DreamMachinepic.twitter.com/38qBih6yJF

— TDS (@TDS_95514874) June 29, 2024

　Dream MachineはUIもシンプルで迷いようがなく、初めは無料で誰でも手軽に高品質なAI生成動画を作れることから、すでにXやTikTokなどのショート動画に強いSNSでも流行の兆しを見せています。また、動画制作を事業としている人のなかでも納品物に使ったという報告が見られています。動画生成AIはなかなか品質が出ない上に、使いにくかったという時代も急激に変わっていこうとしています。

 

筆者紹介：新清士（しんきよし）

1970年生まれ。株式会社AI Frog Interactive代表。デジタルハリウッド大学大学院教授。慶應義塾大学商学部及び環境情報学部卒。ゲームジャーナリストとして活躍後、VRマルチプレイ剣戟アクションゲーム「ソード・オブ・ガルガンチュア」の開発を主導。現在は、新作のインディゲームの開発をしている。著書に『メタバースビジネス覇権戦争』（NHK出版新書）がある。