新清士の「メタバース・プレゼンス」 第85回

3DモデリングにAI革命の兆し　1枚のイラストから3Dデータが完成

画像生成→動画生成→3Dデータへ

　この機能そのものが面白いのですが、こうした動画を利用することで、まったく新しい3D制作を実現できる可能性が、様々な方により模索されつつあります。

　その1つが、イラスト1枚から、Runwayで動画を生成した後に、3Dガウシアンスプラッティング（3D Gaussian Splatting、3DGS）に変換するソフトで処理すれば、3Dデータに変換できるということ。11月4日、3Dジェネラリストのデビッド・リース（Dawid Ryś）さんがXに投稿したものです。3DGSは、昨年登場した複数の画像から3Dシーンを作成するための方法です（参照：3Dスキャンの進化がすごい。今なら無料で高精度、しかも簡単！）

This is interesting! #Runway shows the camera control for its #gen3 video model. You can do orbiting motion around object (kind of). Naturally what comes next is to use this as content for #GaussianSplatting. Inspired by @isoOH78 tweet I did a quick test with @runwayml video.… pic.twitter.com/KeQ740SFZZ

— Dawid Ryś (@KotLesny) November 3, 2024

　デビッド・リースさんは以下のような手順を紹介しています。

1. 1枚絵からRunwayで回転動画を作る

2. 回転動画を3DGSを生成するソフトウェア（PostShot）に入れる

3. 動画が3Dデータとして扱えるようになる（Blenderでも利用可能）

　リースさんは、Xの投稿で、その3Dデータを裸眼立体視が可能なディスプレー「Looking Glass Go」に表示して、実際に3Dになっていることを示しています。

　動画を3DGS化に使っているのは、独Jawset Visual Computing社が開発している「PostShot」という3DGS作成専用のソフトウェアです。現在はベータ版を無料で利用できます。ソフトにローカルPC環境で動画や写真を持ち込むと、それらを解析して、3DGSを生成してくれます。そして、先程の動画の一部の素材の20秒ほどの動画で作成をしてみました。3DGSの生成には、NVIDIA RTX 4090のローカルPC環境で、約30分かかっています。

PostShotで3DGSを生成した画面。動画から、白い三角錐は動画から解析されたカメラの位置。3D情報になっているため、画面内でインタラクティブに動かすことが可能

▲画像を3DGS化したものを、若干距離を置いて撮影した動画。カメラに存在しない情報は存在しないため、3DGSの雲のようなノイズのように表示される

　カメラに写っていないところの情報はそもそもないので破綻してしまうんですが、逆に、カメラの視点を増やせばより精緻になります。そのため、この画像であっても、さらに様々な視点で動画を生成して、撮影量を増やせば、詳細なモデルが作れることが期待できます。

　ただ、ファイルサイズは非常に大きく、現在のものでも600MBもあります。ゲームエンジンなどで扱えるようにデータ量を整理するためには、Blender等に持ち込んで、プラグイン等を使って削減する作業は必要です。