3DモデリングにAI革命の兆し　1枚のイラストから3Dデータが完成

2024年11月25日 07時00分更新

文● 新清士

2Dイラスト→3Dデータ、来年にも

　3DGSモデルでも、画像から3D化を図るものでも、どちらも目標となっているのは「1枚の画像から、精緻な3Dモデルを生成し、それを軽量化してリアルタイム3Dの環境で手軽に扱えることを実現すること」です。そのためには、1枚絵から一貫性のある様々な角度の画像を安定的に生成する必要があります。そのための方法の模索も、さらに登場してきました。

　アーティストでプログラマーのAlexさんは、より高度な品質を実現する方法を提案しました。人物の顔の画像を使ってRunwayで動画を作成し、3DGSを作成した後に、Blenderに読み込み、そして頭の周囲を回転する動画を作成し、さらにその動画をRunwayでノイズが少なく精緻な40秒の動画にします。そして、動画から3Dモデルを作成するサービス「Polycam 3D」を使うことで、高品質な3DGSモデル化を実現するという方法です。

It is now possible to generate 3D models using Gaussian Splatting with RunwayML's new Vid2Vid 20-second videos. Simply upload a 20-second turnaround video of a basic 3D model made with blender, then convert it into a realistic video using the Vid2Vid. After that, use RunwayML's… pic.twitter.com/ipPOn9CsAw
— Alex (@alexfredo87) November 17, 2024

　さらに、ユッカ・セッパネン（Jukka Seppänen）さんは、ローカルPCで動作可能な動画生成AI「CogVideoX」を使って、Runwayと同じようなカメラコントロールが可能であることを紹介し、さらに、Ulfさんが、その動画から3DGS化してキャラクターだけを取り出すことができることを証明しました。

I have finally pushed a bigger update to my CogVideoX ComfyUI wrapper nodes, cleaning up most of the bloat that has been accumulating with all these different models. One of the discoveries I made during this is that the orbit -LoRAs work with the "Fun" -models as well! pic.twitter.com/daOV2rvAAL
— Jukka Seppänen (@Kijaidesign) November 19, 2024

thanks @Kijaidesign for all the work you do, cant wait to get my fingers on this to make some more test!

Here is a quick 3dgs test of your footage without cleaning 😋 This stuff will be so much fun in the next years! pic.twitter.com/y1WUbToCOK
— Ulf (@stilfuchs) November 19, 2024

　動画生成AIが実現しつつある一貫性が実現されたことによって、今後、1枚絵から詳細な3Dが作れることが実現されることが期待できるようになってきました。

　複数のアプリ間の機能を使わなければ実現できないこともあり、まだ扱いは簡単とは言えませんが、こうした技術は、ゲームや映像制作のあり方を大きく変える可能性があります。まだ、3DGSをポリゴン（メッシュ）情報に簡単に変換できないといった弱点はあるのですが、活発に研究が進んでいる分野でもあり、突破口は早晩見つけられることが期待されています。

　来年の今頃には、これらの仕組みが統合され、1枚の画像をアップロードすると、高精細な3Dモデルとして出力されるといった時代が実現される可能性も十分あるのではないでしょうか。

筆者紹介：新清士（しんきよし）

1970年生まれ。株式会社AI Frog Interactive代表。デジタルハリウッド大学大学院教授。慶應義塾大学商学部及び環境情報学部卒。ゲームジャーナリストとして活躍後、VRマルチプレイ剣戟アクションゲーム「ソード・オブ・ガルガンチュア」の開発を主導。現在は、新作のインディゲームの開発をしている。著書に『メタバースビジネス覇権戦争』（NHK出版新書）がある。

■関連サイト