新清士の「メタバース・プレゼンス」 第69回

AI動画の品質が仕事に使えるレベルになってきた

Luma Dream Machineは「Stable Diffusion XL」ベースか

　一方で、Dream Machineで生成した動画には、v1.5系の特有のノイズがなく、クリアな画像が出ています。では、何をベースモデルに使ったのかという疑問が湧いてきます。Luma AIが独自のベースモデルを構築した可能性はあるのですが、ベースモデルはありものを使った可能性が高いと考えています。完全に私の仮説なので、合っている可能性は保証できないのですが、Dream Machineは、SD 1.5ではなくStable Diffusion XL（SDXL）ベースなのではないかと推測しています。SDXLは2024年8月にリリースされ、ライセンス上、他社の利用でも、制限がありません。PikaLabが、SD 1.5系を使って、後発で参入できたのと同じ状況にあったと言えます。

　逆に言うと、SDXLのリリース直後は、新規に参入する企業にとって、動画の学習を開始するには千載一遇のチャンスだったのではないかと。そう考えると、美しさの理由も説明できます。SDXLは学習画像のベースサイズが1024×1024と解像度が高く、高画質で出力できます。2023年秋ごろから動画の学習を開始したと考えると、ある程度の品質が担保できるほどの生成が可能になり、投入できたのがそれから約半年後だったと考えると辻褄が合いそうに思えます。Luma AIはベースモデルや学習データなどの技術情報については沈黙しているので、証明はできないのですが。

　技術情報を公開しないのは、発信すると裁判に巻き込まれたり、不利になるリスクも念頭に置いているものと思われます。裁判を抱える大手IT企業は学習元の問題について「フェアユース」で押し切ろうとしているため、その結果次第で乗り切れると読んでサービスに踏み切ったようにも見えます。よく「先行者利益」と言われますが、動画生成AIの場合は、SDXLの登場により、あとから来た方が有利という状況が起きたのではないかとも考えられます。SD 1.5ではない高品質なベースモデルを最初から使うことで、学習時にレガシーモデルを引っ張る必要がないことが有利に働いた可能性があります。

　Luma AIがもうひとつうまいと感じるのは、2Dアニメをよく学習させていると思われるところです。日本のなかでも大きく話題になった理由のひとつがアニメ系に強いことです。Soraのデモには、今のところアニメ系の動画は公開されていません。他のサービスでもアニメ系はあまりうまくないことは知られていた点でした。そこでもうまく差別化を狙ってきました。

🥞♀Luma AIで上手くいけばlive2d的な動画ができる pic.twitter.com/2cqkn7NUiX

— すずか東3ガ22b (@suzuka00225644) June 14, 2024

▲アニメ系をうまく動かした動画を生成されている作例
プロンプトの入力時に「ehnahced prompt」というボタンにチェックを入れると、画像を解析して動きが追加されるようになっています。画像を解析して、生成しやすいプロンプトをシステム的に追記していると思われます。これをオフにすることで、動きが小さな動画を生成することができるのですが、イラストではLive 2Dのような動きをするんですね。