新清士の「メタバース・プレゼンス」 第50回

“世界生成AI”到来か　画像生成AIのゲームエンジン化が進む

動画生成の先には“オープンワールド生成”が待っている

　ホルツ氏の発言に先駆け、昨年後半からは、RunwayやPikaLabsといった画像生成AIから動画を作成するサービスを始めた企業が注目を集めはじめていました。画像生成AIはいかにスムーズに動画を生成するのかという競争に入りつつあり、優れた動画を作り出すには、首尾一貫した画像を連続的に生成する技術が必須になります。

Introducing Multi Motion Brush.

Control multiple areas of your video generations with independent motion.

Available now for Gen-2 at https://t.co/ekldoIshdwpic.twitter.com/ZZoBWczNkg

— Runway (@runwayml) January 18, 2024

^{▲Runwayは画面の一部をコントロールできるようにするなどの機能強化を続けている}

　そのとき、1つの空間をテーマにした画像で、ユーザーが指示する方向に移動し続ける動画をリアルタイムに作り出せるなら、これは実質的にオープンワールドが成立しているとも言えるわけです。動画の先には、特定の空間自体を生み出そうという技術の発展の可能性が見えてきます。

　ただし、今は画像1枚を生成するのに1分はかかり、それを動画にするのにも2～3分はかかります。とても現実的な数字ではありません。たとえば10年先などであれば実現可能性はあると思いますが、かなり先の話です。

　では、2024年末に実現可能な方法を今実際に触ることができる技術で考えてみることにします。ポイントは1枚1枚生成するような時間のかかる方法をいかに回避し、高速化するか。現状では2つのアプローチが思いつきます。

　1つは、既存のゲームエンジンと、image2image（i2i）用の画像生成AIを組み合わせ、どんどん成立させるというアプローチ。3D環境でリアルタイムシェーダー的に利用する方法なら、比較的軽くできるのではないでしょうか。

　そしてもう1つは、すべてを画像生成AIで生成してしまうという重めのアプローチ。生成画像にDepth情報を付加して、3Dモデル化したうえで、当たり判定を加えて、ゲームエンジン内で扱える空間を作ってしまうという方法です。これは事前に処理が必要ですが、一度作ってしまえば、その空間は自由に利用可能になります。