新清士の「メタバース・プレゼンス」 第41回

3Dスキャンの進化がすごい。今なら無料で高精度、しかも簡単！

3DデータをUnrealEngineに取り込む流れも

　ここまでは第一段階。現在、3Dガウシアンスプレッティングがリアルタイムでも扱いやすいという特徴を利用して、生成したデータをゲームエンジンのUnrealEngineやUnityに取り込んで利用しようという動きも出ています。Luma AIで作成したデータは、ゲームエンジンでも扱えるデータにすることができるんですよ。具体的には、Unreal Engineで3Dガウシアンスプレッティングのデータを扱えるようにするプラグイン「3D Gaussians Plugin」が、空き家総研VRラボから発売されています。これを使うと、Luma AIで作成したデータも簡単にUE上で表示することができるんです。

 

　メッシュ情報ではないので、そのままのデータが出てしまうんですが、たとえば、さっきお見せしたベンチはこういう感じで配置されます。ベンチ周辺だけを撮ることもできるんですが、ガウシアンスプラッティングは周辺部分はきれいに取れていないことがわかります。物体ではなく、ただ床に置いているだけなので通り抜けちゃうんですけど。

Luma AIで生成した #GaussianSplatting データを、空き家総研さんのPlugin(100ドル)を使ってUE5に入れてみた。色味が元よりも白っぽくなっている印象だが、簡単にデータを読み込めた。公式のPluginは、今のところ、ここまで簡単に扱えない。ノイズを整えたりすれば十分に使い物になるかも。 https://t.co/ce1QIstQ4Jpic.twitter.com/ItIe02rk42

— 新清士@(生成AI)インディゲーム開発者 (@kiyoshi_shin) October 22, 2023

　Luma AIのサイトでは、これをポリゴン（三角形）化で構成されたメッシュとして一般的なファイルデータに変換することもできるのですが、実際にやって表示してみると、ガタガタなのがわかります。そもそもが、存在しない情報を推計させているので、細かい部分や、半透明のところはすべてつぶれてしまうんです。

ベンチのデータを、公式サイトの機能を使い、3DデータのOBJファイルとしてダウンロードし、UE5に取り込んだ様子。ベンチの形状はほぼ崩れてしまっていて、データとしては使い物にならない

　このようにまだ現実的には使いにくい部分もありますが、様々な実験が始まっています。映像表現として使うといった例が登場しています。

　代表的なものだと、これをUnityに持っていって、ガウシアンの情報をエフェクトの情報に置き換えて、動的に動かしているような例です。この人の作例はわかりやすいですね。撮ったものを動的にインタラクトさせて見せるわけです。

As much as I'm loving playing with Gaussian Splatting, there's just something about raw & dirty point clouds 🤌🤌 pic.twitter.com/b9g1HMh4Re

— 𝐑𝐔𝐁𝐄𝐍🥽𝐅𝐑𝐎 (@Ruben_Fro) October 18, 2023

▲VFXアーティストの𝐑𝐔𝐁𝐄𝐍🥽𝐅𝐑𝐎氏の動画

ドローンやフィギュアまで

　さらには、論文で発表されている環境を独自に構築して、大量の画像から様々な可能性を探る人も出てきています。ドローンで撮影したデータから建物といったものを扱えるようにしたケースです。データの距離や完璧な正確性は担保できませんが、リアルタイムで処理して出す形として便利であることは間違いありません。

距離感的に完璧な部分があって泣ける件#[e-mail]/1PHiiRvmMF

— 大西さん (@2012apocalypsis) November 1, 2023

　また、YORIMIYAさんは、フィギュアを一眼レフで撮影した高画質の写真1700枚を、12時間半でデータを作成した様子を紹介する動画を公開されています。

　さらにはそのデータを、Quest 3に持ち込んで、MR表示にまで成功させています。画像越しにも高精細な様子が見て取れるすごいものです。

　現在、プラモデルの作例といったものは写真などでしか人に見せる方法がありませんが、将来的には3Dの立体物として共用できる時代が来るのではと感じさせる説得力があります。