メタは7月2日（現地時間）、テキストから高品質な3Dオブジェクトを1分以内という短い時間で生成できる生成AIモデル「Meta 3D Gen」を発表した。
メッシュ、テクスチャー、PBRマテリアルを一度に生成
📣 New research from GenAI at Meta, introducing Meta 3D Gen: A new system for end-to-end generation of 3D assets from text in <1min.
— AI at Meta (@AIatMeta) July 2, 2024
Meta 3D Gen is a new combined AI system that can generate high-quality 3D assets, with both high-resolution textures and material maps end-to-end,… pic.twitter.com/rDD5GzNinY
Meta 3D Genは、テキストプロンプトからメッシュ（骨格）、テクスチャ（表面の模様や色）、PBRマテリアル（リアルな光の反射を再現する情報）の3要素を含む高品質な3Dアセットを1分以内で生成できるAIモデルだ。
核となる技術は2つ。「Meta 3D AssetGen」は高品質なメッシュと物理ベースレンダリング（PBR）マテリアルの生成を担当し、異なる照明条件下でもリアルな見た目を保つ3Dオブジェクトを作り出す。一方、「Meta 3D TextureGen」は複雑な形状にも対応する高解像度で一貫性のあるテクスチャを高速生成する。
プロンプトと生成例
さらに、既存の3Dモデルに新しいテクスチャを適用する機能も備えている。これにより、一度作成したモデルを別の設定や雰囲気に合わせて素早く変更することも可能だ。
2つのモデルで柔軟性を確保
Meta 3D Genは上図のように、入力から出力まで一連のパイプラインで構成されている。このパイプラインの核となるのが、Meta 3D AssetGenとMeta 3D TextureGenだ。
横軸に沿って見てみよう。ユーザーがテキストプロンプトを入力すると、Stage Iで約30秒かけて初期3Dモデルを生成する。ここではAssetGenが活躍し、高品質なメッシュとPBRマテリアルの基本情報を作り出す。続くStage IIでは、TextureGenが約20秒でテクスチャを高品質化する。
最後に、AssetGenとTextureGenの成果が統合され、高品質な3Dアセットとして出力される。
一方、縦軸を見ると2つの利用パターンが示されている。上段は新規の3Dモデル生成で、AssetGenとTextureGenがフルに活用される。下段は既存モデルの再テクスチャリングで、主にTextureGenの機能が使われる。
例えば、「緑のセーターを着た恐竜」から「パンダのような恐竜」へ、AssetGenで生成された形状とPBRマテリアルはそのままに、TextureGenでテクスチャを高速で変更することができる。この柔軟性により、クリエイターは素早く多様な3Dコンテンツを作成・編集できるのだ。
既存モデルと比べても速度差は顕著
他の主要な3D生成AIと比較したベンチマークテストの結果を見てみよう。
まずは生成速度について。1分以内で3Dモデルを生成できるMeta 3D Genに対し、他のモデルは早くても3分、遅いものでは1時間以上かかる。特に、テクスチャとPBRマテリアルを含む高品質なモデル生成においてこの速度差は顕著だ。
次にプロンプトへの忠実さを見てみよう。Meta 3D Genは複雑な構図を含むプロンプトでも73.9%の忠実度を達成している。これは、単純なオブジェクトだけでなく、複数の要素を組み合わせた複雑なシーンの生成でも高い性能を発揮していることを示している。
A/Bテストの結果を見るとMeta 3D Genの優位性がさらに明確になる。全体的な品質、テクスチャの品質、ジオメトリの正確さなど、複数の評価基準において、Meta 3D Genは他のモデルを上回っている。特に、プロの3Dアーティストによる評価では、その差がより顕著に表れている。
これらの結果は、Meta 3D Genが速度と品質の両面で既存のシステムを大きく上回っていることを示している。
同じプロンプトでの各モデルの生成結果
リリース時期やライセンスについてはまだなにも言及されていないが、利用可能になれば、ゲーム開発、映画制作、メタバースのコンテンツ制作など、3Dモデルを必要とする多くの分野に大きな影響を与えることは間違いない。
