2Dイラスト→3Dデータ、来年にも
3DGSモデルでも、画像から3D化を図るものでも、どちらも目標となっているのは「1枚の画像から、精緻な3Dモデルを生成し、それを軽量化してリアルタイム3Dの環境で手軽に扱えることを実現すること」です。そのためには、1枚絵から一貫性のある様々な角度の画像を安定的に生成する必要があります。そのための方法の模索も、さらに登場してきました。
アーティストでプログラマーのAlexさんは、より高度な品質を実現する方法を提案しました。人物の顔の画像を使ってRunwayで動画を作成し、3DGSを作成した後に、Blenderに読み込み、そして頭の周囲を回転する動画を作成し、さらにその動画をRunwayでノイズが少なく精緻な40秒の動画にします。そして、動画から3Dモデルを作成するサービス「Polycam 3D」を使うことで、高品質な3DGSモデル化を実現するという方法です。
It is now possible to generate 3D models using Gaussian Splatting with RunwayML's new Vid2Vid 20-second videos. Simply upload a 20-second turnaround video of a basic 3D model made with blender, then convert it into a realistic video using the Vid2Vid. After that, use RunwayML's… pic.twitter.com/ipPOn9CsAw
— Alex (@alexfredo87) November 17, 2024
さらに、ユッカ・セッパネン(Jukka Seppänen)さんは、ローカルPCで動作可能な動画生成AI「CogVideoX」を使って、Runwayと同じようなカメラコントロールが可能であることを紹介し、さらに、Ulfさんが、その動画から3DGS化してキャラクターだけを取り出すことができることを証明しました。
I have finally pushed a bigger update to my CogVideoX ComfyUI wrapper nodes, cleaning up most of the bloat that has been accumulating with all these different models. One of the discoveries I made during this is that the orbit -LoRAs work with the "Fun" -models as well! pic.twitter.com/daOV2rvAAL
— Jukka Seppänen (@Kijaidesign) November 19, 2024
thanks @Kijaidesign for all the work you do, cant wait to get my fingers on this to make some more test!
— Ulf (@stilfuchs) November 19, 2024
Here is a quick 3dgs test of your footage without cleaning 😋 This stuff will be so much fun in the next years! pic.twitter.com/y1WUbToCOK
動画生成AIが実現しつつある一貫性が実現されたことによって、今後、1枚絵から詳細な3Dが作れることが実現されることが期待できるようになってきました。
複数のアプリ間の機能を使わなければ実現できないこともあり、まだ扱いは簡単とは言えませんが、こうした技術は、ゲームや映像制作のあり方を大きく変える可能性があります。まだ、3DGSをポリゴン(メッシュ)情報に簡単に変換できないといった弱点はあるのですが、活発に研究が進んでいる分野でもあり、突破口は早晩見つけられることが期待されています。
来年の今頃には、これらの仕組みが統合され、1枚の画像をアップロードすると、高精細な3Dモデルとして出力されるといった時代が実現される可能性も十分あるのではないでしょうか。

この連載の記事
-
第134回
AI
“AI読者”が小説執筆の支えに 感想を励みに30話まで完成 -
第133回
AI
xAIの画像生成AI「Grok Imagine」が凄まじい。使い方は簡単、アダルト規制はユルユル -
第132回
AI
画像生成AI:NVIDIA版“Nano Banana”が面白い。物理的な正確さに強い「NVIDIA ChronoEdit」 -
第131回
AI
AIに恋して救われた人、依存した人 2.7万人の告白から見えた“現代の孤独”と、AI設計の問題点 -
第130回
AI
グーグルNano Banana級に便利 無料で使える画像生成AI「Qwen-Image-Edit-2509」の実力 -
第129回
AI
動画生成AI「Sora 2」強力機能、無料アプリで再現してみた -
第128回
AI
これがAIの集客力!ゲームショウで注目を浴びた“動く立体ヒロイン” -
第127回
AI
「Sora 2」は何がすごい? 著作権問題も含めて整理 -
第126回
AI
グーグル「Nano Banana」超えた? 画像生成AI「Seedream 4.0」徹底比較 -
第125回
AI
グーグル画像生成AI「Nano Banana」超便利に使える“神アプリ” AI開発で続々登場 -
第124回
AI
「やりたかった恋愛シミュレーション、AIで作れた」 AIゲームの進化と課題 - この連載の一覧へ






