3DデータをUnrealEngineに取り込む流れも
ここまでは第一段階。現在、3Dガウシアンスプレッティングがリアルタイムでも扱いやすいという特徴を利用して、生成したデータをゲームエンジンのUnrealEngineやUnityに取り込んで利用しようという動きも出ています。Luma AIで作成したデータは、ゲームエンジンでも扱えるデータにすることができるんですよ。具体的には、Unreal Engineで3Dガウシアンスプレッティングのデータを扱えるようにするプラグイン「3D Gaussians Plugin」が、空き家総研VRラボから発売されています。これを使うと、Luma AIで作成したデータも簡単にUE上で表示することができるんです。
メッシュ情報ではないので、そのままのデータが出てしまうんですが、たとえば、さっきお見せしたベンチはこういう感じで配置されます。ベンチ周辺だけを撮ることもできるんですが、ガウシアンスプラッティングは周辺部分はきれいに取れていないことがわかります。物体ではなく、ただ床に置いているだけなので通り抜けちゃうんですけど。
Luma AIで生成した #GaussianSplatting データを、空き家総研さんのPlugin(100ドル)を使ってUE5に入れてみた。色味が元よりも白っぽくなっている印象だが、簡単にデータを読み込めた。公式のPluginは、今のところ、ここまで簡単に扱えない。ノイズを整えたりすれば十分に使い物になるかも。 https://t.co/ce1QIstQ4Jpic.twitter.com/ItIe02rk42
— 新清士@(生成AI)インディゲーム開発者 (@kiyoshi_shin) October 22, 2023
Luma AIのサイトでは、これをポリゴン(三角形)化で構成されたメッシュとして一般的なファイルデータに変換することもできるのですが、実際にやって表示してみると、ガタガタなのがわかります。そもそもが、存在しない情報を推計させているので、細かい部分や、半透明のところはすべてつぶれてしまうんです。
このようにまだ現実的には使いにくい部分もありますが、様々な実験が始まっています。映像表現として使うといった例が登場しています。
代表的なものだと、これをUnityに持っていって、ガウシアンの情報をエフェクトの情報に置き換えて、動的に動かしているような例です。この人の作例はわかりやすいですね。撮ったものを動的にインタラクトさせて見せるわけです。
As much as I'm loving playing with Gaussian Splatting, there's just something about raw & dirty point clouds 🤌🤌 pic.twitter.com/b9g1HMh4Re
— 𝐑𝐔𝐁𝐄𝐍🥽𝐅𝐑𝐎 (@Ruben_Fro) October 18, 2023
▲VFXアーティストの𝐑𝐔𝐁𝐄𝐍🥽𝐅𝐑𝐎氏の動画
ドローンやフィギュアまで
さらには、論文で発表されている環境を独自に構築して、大量の画像から様々な可能性を探る人も出てきています。ドローンで撮影したデータから建物といったものを扱えるようにしたケースです。データの距離や完璧な正確性は担保できませんが、リアルタイムで処理して出す形として便利であることは間違いありません。
距離感的に完璧な部分があって泣ける件#GaussianSplatting@LumaLabsAIpic.twitter.com/1PHiiRvmMF
— 大西さん (@2012apocalypsis) November 1, 2023
また、YORIMIYAさんは、フィギュアを一眼レフで撮影した高画質の写真1700枚を、12時間半でデータを作成した様子を紹介する動画を公開されています。
さらにはそのデータを、Quest 3に持ち込んで、MR表示にまで成功させています。画像越しにも高精細な様子が見て取れるすごいものです。
現在、プラモデルの作例といったものは写真などでしか人に見せる方法がありませんが、将来的には3Dの立体物として共用できる時代が来るのではと感じさせる説得力があります。
この連載の記事
-
第80回
AI
ゲーム開発はAI活用が当たり前になりつつあるが、面白さを作り出すのは人間の仕事 -
第79回
AI
AIが考える“アイドル”がリアルすぎた グーグル「Imagen 3」なぜ高品質? -
第78回
AI
話題の画像生成AI「FLUX.1」 人気サービス「Midjourney」との違いは -
第77回
AI
画像生成AI「FLUX.1」が相当ヤバい LoRAで画風の再現も簡単に -
第76回
AI
「Stable Diffusion」の失敗に学び、画像生成AIの勢力図を塗り変える「FLUX.1」 -
第75回
AI
商業漫画にAIが使われるようになってきた -
第74回
AI
AIバブル崩壊をめぐって -
第73回
AI
AIは著作物の「フェアユース」と言えるのか 音楽業界vs.AIミュージック -
第72回
AI
人が絵を描く“工程”をAIで再現 タイムラプス風動画が炎上した「Paints-Undo」 -
第71回
AI
危機的状況の画像生成AI「Stable Diffusion 3」立て直しへ -
第70回
AI
イラストのペン入れと色塗り、AI使えばわずか1分 - この連載の一覧へ