新清士の「メタバース・プレゼンス」 第68回

AIが作る3Dモデルの完成度が上がってきた　毎回異なるモンスターが生成されるゲームも実現か

3Dモデルが10秒足らずで生成される

　Tripoは、中国のAI大手・商湯科技（センスタイム）やテンセントの出身者が2023年3月にCG技術のAIによる自動化を目指して立ち上げた中国系のスタートアップ。現在サービス展開をしているTripoが、内部的にTripo SRに切り替わったのかどうかは正式にアナウンスされていないので不明ですが、実際には3Dモデルを生成させると10秒も経たず、プロンプトや画像に合わせた3Dモデルが生成されるため、同様の技術が使われていると推定されます。

　Tirpoは、テキストプロンプトを入力するか、1枚の画像を入力するかで生成すると、4枚の3Dモデルを10秒程度で生成します。そのなかから詳細化するモデルを選択すると、さらに10分程度かけて高画質な「Hi-Resモデル」が作られるという仕組みです。第一段階として粗い3Dモデルをまず短い時間で生成し、第二段階で、詳細な3Dモデルを作成するというプロセスは、Tripoが高品質な3Dモデルを作るために、早い段階から考えていたアイデアのようです。画像を指定しない場合は、プロンプトに合わせてStable Diffusionなりで1枚絵の画像を生成して、それを3D化しているものと推測されます。

Tripoで、Japanese anime style girlで、第一段階の荒い3Dモデルを生成したもの。4つのモデルが約10秒で生成される。それぞれを角度を変えて見ることがもちろん可能

一番左側のモデルを選択して、詳細なハイレゾ化してみた。生成には10分あまりかかる

角度を変えてみたもの。完璧とまでは言えないが、それなりに3Dモデルが生成できている。3DモデルフォーマットのGLBとしてダウンロードできる

　今度は1枚絵からの3Dモデル生成をしてみます。ベースとなる画像はMidjouneryで作成したもの。学習サイズの影響か、ちびキャラタイプで正面からのものの方が、精度が高く生成されやすい傾向があるようです。そのような画像を作成して、Tripoに読み込んで生成します。画像からの場合は、1種類しかモデルは生成されません。ハイレゾモデルまで作成後に、人間型と認識できた場合は、スケルトン（骨）を生成することができ、簡易的なアニメーションを付けて表示させることができます。

Midjouneyで作成した画像（左上）をTripoで3D化したものの正面（右上）、横（左下）、後ろ（右下）。カバンを背負っていると判定されて、カバンが独自形状として生成されている

▲スケルトンを作成し、歩くアニメーションを動作させている状態。腕とスカートがくっついてしまった。画像をTポーズにするなどの工夫が必要

　一枚絵から3Dを生成する場合、その品質は画像がAIによって解釈しやすいかどうかで成功確率が変わってくるようです。そのため、3D化を成功させるには利用者側もトライ・アンド・エラーが必要になると思われます。

　Tripoは有償サービスで毎月付与されるポイントを使って、それぞれの生成段階でポイントを消費する仕組みです。無料のベーシックプランでも、月に5体程度作成することが可能なのですぐに試すことができます。

　画像からの3Dモデル化の研究は着々と進んでおり、ユーザー間でも各社の生成モデルの比較がされています。「他社に比べてTripoの完成度は高い」といった検証動画も上がっています。しかし、5月には競合Meshyの「Meshy 3」も発表され、競争は続いています。今後、Objaverse-XLを使った学習結果が反映されることで、品質はさらに上がっていくものと考えられます。

Here are the #image2model results from what I've personally used, built, and experimented with.
Check out the thread below👇
(And I showed the results from testing my Producthunt profile pic 3 times in the end with tripoai🤡#tripoai#CSM#meshy#LGMpic.twitter.com/AUbZHaNxtY

— CuttieS (@whyvirtualsiena) April 4, 2024

▲4社のサービスを比較した動画。Tripoの完成度が高いようにみえる