新清士の「メタバース・プレゼンス」 第150回

無料でここまで？ 動画生成AI「LTX-2.3」はWan2.2の牙城を崩すか

ミュージックビデオが非常にパワフル

　最後に、声との組み合わせの強力さもご紹介します。記事冒頭で使ったのは公式公開されているテンプレート「LTX-2.3画像 オーディオからビデオへ」です。リップシンクが日本語でもかなり正確に追従し、歌唱曲で生成した場合にも、非常にパワフルに描写されます。

　音楽AI「Suno」で作成した曲を使った作例は1分半の動画ですが、45秒+30秒+30秒で分けて生成し、最後に「Adobe Premiere Pro」で結合しています。アップテンポの曲に合わせてしっかりとリップシンクが追従しています。何度か試してみた様子では30秒～45秒あたりに限界があるようで、それを超えると画質が急激に低下し始めます。そのため、曲全体に適応するには分割して生成することが必要でしょう。

△田中さんが教室で歌っている設定での動画

　ただ、若干の注意点があります。公式ワークフローに若干手を加えたほうがいいという点です。(1)T2Vの時とは逆にテキストはシンプルな方がよく追従しやすと思われること（a cute Japanese girl with a dark bob hair and glasses singing passionately with empty hands）、(2)Prompt Enhancementのノードの3つはプロンプトを勝手に変えてしまうため、バイパスしたほうが良い結果になりやすいこと、(3)VAEデコードのtemporal_sizeは768ではなく512に落としたほうが動いてくれること、がコミュニティで共有されています。