新清士の「メタバース・プレゼンス」 第140回

3Dモデル生成AIのレベルが上がった　画像→3Dキャラ→動画化が現実的に

画像→3Dモデル→動画に変換

　例えば、モデルが並んでいるシーンをスクリーンショットにして、それをNano Banana Proを利用して、ディテールアップします。そうすると、キャラクターのデザインやポーズを維持したまま、一貫性の高い画像を生成できるのです。もちろん、それをさらに動画化していくこともできます。

＜プロンプト＞フィギュア風を維持したまま、一眼レフカメラで撮影した感じにディテールアップして。ポーズと構図は変更しないで。左側から自然光のライトを当てて。肌をもっと実際の肌に近い雰囲気にして。よりメカ的な雰囲気に。半透明の剣をうまく光らせて。デカールなどをつけて。 背景は、様々なパイプやメカがひしめくSF的な基地のような雰囲気にして。

VRM Posing Desktopで撮影した画像（左）を、Nano Banana Proでディテールアップ（右）

△Grokを使って動画化した例

　同じ方法を応用して、2枚の画像をつないで動画にすると、動きを制御した3Dアニメーションが作りやすくなります。始点と終点を固定しているため、キャラクターデザインが崩れないのが大きなポイントです。Nano Banana Pro単体ではポーズを完全にコントロールできませんが、一度ポーズを取らせてスクリーンショットを撮ってから動画AIで使えば、かなり安定した結果を作れるようになります。また、アニメ風と指示することでも、デザインをかなり維持したままの状態にできます。

VRMのスクリーンショット（左）から、Nano Banana Proを使ってリアル風のディテールアップ（中央）、アニメ風（右）

△上記の画像を繋いでアニメーションにしたもの。Byteplusの「Seedance Pro 1.5」を使用

　同様の方法は、応用範囲が広いと考えています。作例用AIキャラクターの「田中さん」を同じように3D化してみましたが、モデル単体としては特に顔の表現力が足りません。しかし、同じようにポーズを取らせて、刀を持たせて、それを振り下ろすスクリーンショットを連続して撮影します。そして、それぞれの画像を「アニメ風」に変換します。そうすると、一貫性を保ったままの一連のポーズが出来上がります。

田中さんをVRMモデル化して撮影したスクショを変換した結果

△田中さんが剣を振る動画

　これをアリババの動画AI「Wan 2.2」で2秒ごとに切り替わるマルチ生成の動画としてつなげると、剣を振るといったモーションがそれなりに生成できます。動画AIは手に持つようなオブジェクトとの関係性を理解させることが簡単ではないため、従来AIが最も苦手としていた部分ですが、こうして画像自体を用意することで、適切な画像を作りやすくなります。