Luma AIは6月12日（現地時間）、テキストや画像から5秒間の高品質な動画を作成できる画像生成AIモデル「Dream Machine」を公開。無料ユーザーでも毎月30本の動画を作成できる。
トレーニングにはAWSのSageMaker HyperPodを使用
Dream Machineはテキストプロンプトおよび画像から高品質でリアルかつ幻想的な動画を作成するAIモデル。
ユーザー登録するだけで、誰でも120フレーム（24fps x 5秒）の動画を毎月30本無料で作成できる。
スケーラブルで効率的なマルチモーダルTransformerアーキテクチャ上に構築されたDream Machineは動画によってトレーニングされており、物理的に正確で一貫性のあるアクション満載のシーンを生成することができるという。なお、トレーニング動画についての説明は今のところない。
モデルのトレーニングにはAmazon Web Services（AWS）および、現在最も高性能なAI用ビデオボード「NVIDIA H100」を使用した機械学習トレーニングインフラストラクチャ「SageMaker HyperPod」が使用されている。使い方はシンプル
使い方は極めてシンプル。Googleアカウントでログインしたら、プロンプト（日本語もOK）を入力するだけ。
画像をアップロードし、その画像をアニメーションさせる「i2v（image to video）」も可能だ。
生成にかかる時間は120秒だが、ピーク時にはその前にしばらく順番を待つ必要がある。
すばらしいデモ動画たち
XにはDream Machineの作例が多数投稿されている。
下の動画では5秒の中でカットが切り替わっている。
Next level text to video! pic.twitter.com/oPyV7Sp2R8
— Luma AI (@LumaLabsAI) June 12, 2024
ブラー（ぼかし）表現や照明の当たり方もリアルだ。
Realistic camera movements that blur the boundaries of reality 🎥: @Next_On_NOwpic.twitter.com/I76lI1ENrh
— Luma AI (@LumaLabsAI) June 12, 2024
アニメ調の作例も用意されていた。
And experiment with any style imaginable 🎥: Steve Schütz - IG: radstream pic.twitter.com/nsJliucKu3
— Luma AI (@LumaLabsAI) June 12, 2024
現在、モーフィングとテキスト入力はサポートされていないが、ヤヌス問題（視点の不一致）などの修正と共に今後実装されていく予定だとしている。
有料プランもあり
無料でも30本／月の動画生成は可能だが、120本／月作成できる「Standard」プランが29.99米ドル（およそ4700円）、400本／月作成できる「Pro」プランが99.99米ドル（およそ1万5680円）、2000本／月作成できる「Premier」プランが499.99米ドル（およそ7万8410円）となっている。
なお、Luma AIはテキストプロンプトから3Dモデルを生成できる「GENIE」というサービスも運営している。
OpenAIの「Sora」、それを強烈に意識した中国の「Kling」など相変わらず動画生成AIの話題は多いが、実際にユーザーが試してみることのできるサービスはまだ多くない。「Dream Machine」は特別な知識がなくても最新の動画生成技術に触れられる貴重なサービスと言えるだろう。
