新清士の「メタバース・プレゼンス」 第85回

3DモデリングにAI革命の兆し　1枚のイラストから3Dデータが完成

Photoshopとの合わせ技も考案される

　画像1枚から3Dモデル生成をしてくれる「Tripo 3D」といったサービスも性能向上は進んでいるのですが、まだまだ扱いやすいとまでは言えません。

　フォトリアルな小物などの一部のアイテム的に使うものでは使える水準に到達しつつありますが、まだまだアニメ系のキャラクターについては、正直イマイチの品質です。今回のキャラクターの画像を3D化してみたのですが、とても使い物にならないと思えました。

Tripo 3Dで3D化したケース。無料モードで利用しているので、テクスチャのHD化をしていないがモデルの品質は今ひとつ

　ただ、アーティストのマーティン・ネベロング（Martin Nebelong）さんが、Tripo 3Dのまだ粗い3Dであっても、画像生成AIと組み合わせて2D画像としてなじまして使うことはできるとの提案をしています。

　Photoshopと連携して使うことができるSubstance 3D Viewerを使い、Tripoで作成した3Dモデルの表示方向を決めて画像として持ち込んで処理する方法です。背景は「生成塗りつぶし」機能を使って作成して合成します。そして、「ComfyUI Photoshop Plugin」プラグインのImage-to-Image（i2i）を使うことで、画像を背景と組み合わせて自然なものにできるというわけです。

What do you think of the new MJ editor? To me systems like that offer only the illusion of creative control.. they still take way too many of the creative choices. Good if you just want a pretty picture that is well within the understanding of the training data.. not so great for… pic.twitter.com/6q7wI27Caj

— Martin Nebelong (@MartinNebelong) October 24, 2024

　筆者も同じような環境が実現できるか試してみました。提案されているプラグインが的確に動かなかったので、一度画像として出力して、それを画像生成AIの環境として一般的な「Web UI Forge」のStable Diffusion XLに読み込み、i2iで画像を生成しました。3Dモデルをヒントとして、最初のイメージに近いキャラクターを別の角度からの姿としてうまく生成できています。2Dとして使う前提であれば、現在の3Dモデルの品質でも十分に使える可能性があるのです。また、さらにRunwayを使うことで、一貫性のある動画の素材としても使えることも確認しました。

Substance 3D Viewerから、Photoshopに3Dモデルを転送している状態

Web UI Forgeに読み込んだ元画像（左）、i2iを掛けた結果の画像（右）

▲Runwayのキーフレーム機能で、変換後の画像を始点に、元となる画像を終点にして、生成した動画