新清士の「メタバース・プレゼンス」 第41回

3Dスキャンの進化がすごい。今なら無料で高精度、しかも簡単！

　また面白いものが出てきましたよ。「3Dガウシアンスプラッティング（3D Gaussian Splatting）」という、フランスの研究者が8月のSIGGRAPH（CGなどに強い学会）で発表したばかりの写真から3Dを生成する技術です。これをLuma AIというスタートアップが自分たちのプロダクトに実装したのが先月のこと。iPhoneアプリを使い、3D化したいものの写真を数百枚撮影して、アップロードして30分〜1時間くらい待つと3D化されたデータが降ってくるというものです。

Luma AI
https://lumalabs.ai/

写真を撮ってアップすると高精度の3D画像に

　たとえばこれは、近所の公民館の公園にあるベンチをスキャンしたもの。200〜300枚くらいの写真を撮ってアップロードすると、約30分で非常に質感が高い3D画像が生成されます。

これはすごいわ。Luma AIの3D #GaussianSplatting を試してみたのだけど、ここまで品質が出るのかとびっくりした。数十枚アプリの指定通りにただ連写してアップロードして処理するだけで30分ほどで出てきた。 pic.twitter.com/Cr10UxrKkg

— 新清士@(生成AI)インディゲーム開発者 (@kiyoshi_shin) October 20, 2023

　Luma AIのページからリアルタイムでデータを見ることも可能です。

造花をスキャンした例　Luma AIより

　同じように、ある程度サイズが小さなものでも可能なのかを試すため、筆者宅の屋上で30cmほどの造花を撮影してみました。やはり同じように数百枚の画像を撮影したものです。造花の複雑な形状もしっかりと捉えられていますし、プラスチックな質感も出ています。撮影はちょうどお昼時だったのですが、日光を浴びている光の加減もうまく出ています。従来の3Dスキャンではここまで精緻に撮影することはできませんでした。

　iPhoneのアプリの画面上では連続して写真が撮影されていくのですが、この空間のどこで撮影されたのかがプロットされていきます。3D化したい対象をぐるりと囲むように撮影し続け、画像をまとめてアップロードすると、データの作成が始まります。恐ろしいことにこのデータはサンプルがブラウザーでリアルタイムに表示できて、しかもPCだけでなく、スマホ上でもスムーズに動かせるんですね。

　これまでの3Dスキャン環境のなかで、Luma AIは群を抜いて使いやすいです。撮影をする対象を3分くらい撮るだけで、立体物として作例が見せられようになるわけですから。しかも、いずれサブスクモデルに切り替えると思いますが、今は無料で提供しているので、すごく流行りそうな予感があります。

　ちなみにLuma AIの共同創業者のアミット・ジェイン氏は、アップルでLiDARセンサーを使った3Dスキャンに関連するAIキットの製品を開発していた人物。2021年に独立して創業し、iPhoneから写真を撮ってLUMA AIにアップすると3D空間に入れてくれるというサービスを1年前から始めていました。5月にベンチャーキャピタルやNVIDIAなどから2000万ドル（30億円）規模の投資を受けたことで話題になっていました。そして、新たに3Dガウシアンスプラッティングをいち早くサービスに取り入れたことで、3Dスキャンに関心のあるユーザーたちから大きく注目されたという流れです。

　今はLuma AIのサービスがひとつ抜きん出ていますが、競争相手の3Dスキャンで有名なPolycamも近くサービス開始に向けて準備を進めているようです。

Luma AIのアミッド・ジェイン氏。（画像は「Building The Open Metaverse Podcast」出演時のもの）