Unreal Engineのゲーム空間をimage2imageで変化させてみた
初めに、image2imageを組み合わせたケースを考えてみましょう。
昨年12月、あき先生ことAkio Kodairaさんを筆頭にした研究グループが、リアルタイム画像生成を実現するために最適化されたパイプライン「StreamDiffusion」を発表しました。画像サイズが小さければ100fps以上も可能という、現状では最高速の生成ができる方法です。
これによってUnreal Engineのゲーム空間を撮影し、それをi2iで生成し続ければ、十分にゲームが成立するのではと考えました。試してみたものがこちらです。
#StreamDiffusion をUE5のポストエフェクト的に使えないかのテスト。FPSサンプルマップを表示している。例のDepthで作成した顔も置いている。4090だが、裏でUE5が動いているので、512x512でFPSは13ぐらいも、ゲームプレイはなんとか成立する。すぐ実現しないだろうが、いずれ来る未来。 pic.twitter.com/moBoTUsEVb
— 新清士@(生成AI)インディゲーム開発者 (@kiyoshi_shin) January 9, 2024
これはUnreal Engine 5(UE5)のサードパーソンビューの基本的なチュートリアルのマップですが、プレイできないことはないですね(笑)。裏でUE5が動いていることもあり、解像度は低く、フレームレートも10fpsぐらいでした。ただ、こうした「何があるのかはっきりしない」テーマのゲームだと定義してしまえば、成立する可能性はあるようにも思います。
さらに、以前に紹介したUE5の森林をテーマにしたプロシージャルマップをi2iで生成したものがこちらです(プロシージャルについては「もし画像生成AI『Midjourney』がメタバースに実装されたら」参照)。
#StreamDiffusion を、昨年のEpicのGDCデモのElectricDreamsのマップに適応してみました。流石にそもそものマップが重いのでFPSは10を切るのと、森の情報なので、画面の一貫性を維持するのは難しいですね。それでも、なんとなくそれっぽいのが楽しい。成立させるには適度な情報量の管理が必要そう。 pic.twitter.com/lbdRcwozQK
— 新清士@(生成AI)インディゲーム開発者 (@kiyoshi_shin) January 9, 2024
森の中を動いているけど、何が映っているのかがわかりません。プロンプトに「森、木、岩」といった指定は入れているのですが、UE5の画面の情報量が多すぎるのか、解像度の限界からか、映像がはっきりしません。最後のシーンでは岩山が映りますが、岩になったり巨大樹になったりと安定しません。
もう1つ、普通の三人称視点のシューターのサンプルマップも試してみました。女性形のアンドロイドが登場するため「少女の後ろ姿(Girl from back)」というプロンプトを入れてみたら、形状が不安定なところがすべて「ガール」になってしまいました(笑)。壁の影のしみからもガールが登場するという有様で、敵の位置がまったくわからず、ゲームとしては成立しませんでした。ただ、もっとマップの情報を単純化したりすると成立するかもしれません。
#StreamDiffusion でUE5のサンプルゲームのLyraStaterGameでも試してみたが、ゲームが成立しなかった。プロンプトに"girl, from back"と入れておくと、壁のシミや銃の発光エフェクトから、女の子が生成されてしまうため、敵がいないのに、敵かと誤って認識してしまう。またライトがない方がいいかも pic.twitter.com/2jvuEQ1EBE
— 新清士@(生成AI)インディゲーム開発者 (@kiyoshi_shin) January 9, 2024
こうした高速化のアプローチでは、まだまだ一貫性が大きな課題になりそうです。それでも、可能性は十分に感じられました。UE5で表示されているものが何か動的にプロンプト分析する手法など、今後も新しいテクニックが出てくるだろうと思います。
筆者の環境はNVIDIA GeForce RTX4090と相当ハイエンドですので、現時点では求められるビデオカードのスペックが高いことも一般化のネックになると考えられます。
![](/img/blank.gif)
この連載の記事
-
第69回
AI
“革命”起こした画像生成AIに暗雲 「Stable Diffusion 3 Medium」の厳しい船出 -
第68回
AI
AIが作る3Dモデルの完成度が上がってきた 毎回異なるモンスターが生成されるゲームも実現か -
第67回
AI
アドビの画像生成AI機能がまた進化 白黒3Dモデルがリアルな都市に -
第66回
AI
有名人そっくり、増え続けるAI音声 “声の権利”どう守る -
第65回
AI
画像生成AIに照明革命 日本と世界で同時に“神ツール”登場 -
第64回
AI
自分好みのAIチャット相手を簡単に作れる「Dify」が面白い -
第63回
AI
まるで“いけない話ができるChatGPT” ローカルAI「Command R+」の爆発的な可能性 -
第62回
AI
動画生成AI、映像制作の“民主化”目指して研究進む -
第61回
AI
画像生成AI“児童ポルノ”学習問題、日本では表現規制の議論にも -
第60回
AI
3Dアニメーション技術の革新が止まらない -
第59回
AI
政府、生成AI推進に向けて議論を加速 - この連載の一覧へ