新清士の「メタバース・プレゼンス」 第68回

AIが作る3Dモデルの完成度が上がってきた　毎回異なるモンスターが生成されるゲームも実現か

筆者がTripoを使って生成した3Dモデル

　2023年後半、3Dモデルのサービスの登場が相次ぎましたが、品質的にはまだまだという印象でした。しかしここにきて、使いものになる可能性が見える段階に入り始めています。中国系のAIスタートアップTripo AIの「Tripo」です。2024年5月にStable DiffusionのStability AIと共同開発した「Tripo SR」を発表。この技術を組み込んで、生成する3Dモデルの品質を引き上げてきているようです。3D技術を知らないゲーマーが自由に3Dを生成する時代を夢見ているようです。

3D生成サービスに新たな技術革新

アレン人工知能研究所のObjaverse-XLのページ

　2023年後半から今年頭にかけて、Luma AIの「Genie」、Common Sense Machinesの「Cube」、Meshyの「Meshy 2」など、一斉に3D生成サービスが開始したのは大きな要因がありました。2023年5月に、自由に使える3Dモデルの学習データ「Objaverse 1.0」がリリースされたことです。

　このデータには約80万個もの3Dオブジェクトが含まれていました。それらのデータは高品質な3Dデータで作成されて、詳細な形状やテクスチャを持っています。また、それぞれのオブジェクトにはその種類、素材、パーツ、機能といった詳細なアノテーションが付与されています。この開発は、マイクロソフト共同創業者の故ポール・アレン氏が設立したアレン人工知能研究所が主導したもので、学習用のデータはHuggineFaceやGitHiubから、誰でも無料でダウンロードできます。

　それ以前も3Dの学習用データは存在していましたが、小規模でデータの内容もまちまちでした。Objaverseの登場よってAI研究者やAI開発企業の開発熱が一気に高まり、半年余りの後に、商用向け3Dモデル生成サービスが次々に登場するようになったのです。さらに、2023年12月には「Objaverse-XL」が発表。データは3Dソフトの「Blender」でも読み込める1000万個以上の3Dオブジェクトが含まれており、現在の研究開発用の3Dデータとしては一般的なものになっています。

　AIで3Dを生成するためには、ある3Dオブジェクトが様々な角度から見て、同じものであると認識させ、それをAIに学習させる必要があります。そのためには品質の高い、多数の3Dデータが必須なのです。

　2023年4月にコロンビア大学が発表した「Zero-1-to-3」は、1枚の画像からの3Dモデルの生成を可能にする画期的な技術でした。この技術をベースに、Stablity AIが「Stable Diffusion 1.4」を使って学習させることで、より高品質な画像を作れると考えて開発したのが、2023年12月発表の「Stable Zero 123」でした。厳選したObjaverseの3Dデータを学習に活用したりすることで、1枚の画像から生成する3Dモデルの品質を引き上げています。その後、3月には「Stable Video 3D」をリリースし、商用利用可能な環境の整備を進めています。

3月に発表されたStable Zero 123

　一方で、Stability AIはTripoと共同開発という形で5月に「Tripo SR」という技術を発表しました。これは2023年に中国の南洋理工大学が発表した「大規模再構成モデル（LRM）」という研究を拡張したものです。Objaverseなどから約100万個のオブジェクトを学習し、5億個の学習可能なパラメータを持つ拡散ベースのアーキテクチャで、入力画像を利用して3Dモデルデータ（NeRF）を予測するというモデルでした。AI分野では一般的なサーバ環境の「NVIDIA A100」を使って生成した場合、わずか数秒で3Dオブジェクトの生成することを実現するというものです。Tripo SRでは、LRMだけでなく、Stable Diffusion 1.4を使った生成などの複数の方法論を組み合わせることで、生成速度と品質を引き上げるという方法です。

Today we are releasing TripoSR in collaboration with @tripoAI. TripoSR is a new image-to-3D model capable of creating high quality outputs in less than a second.

Learn more here: https://t.co/qfg5MYunODpic.twitter.com/0erACTTTf0

— Stability AI (@StabilityAI) March 4, 2024