新清士の「メタバース・プレゼンス」 第165回

AIがBlenderを勝手に操作　3D制作のハードルが一気に下がった

昭和の和室をAIが3D化　画像からプリビズができるまで

　まず作成したのが、夏の和室の風景です。昭和をイメージした、障子と襖、縁側のある部屋で、麦茶に蚊取り線香、ブラウン管テレビといったものを指示して出てきたものが1枚目です。そこから、様々な角度で、特に全体がわかるように上からのカメラ位置のものも出すように指示しました。そして、この画像をFable 5に参照させて、これをBlenderで再現してほしいと指示します。

　GPT Image 2にも限界があり、完全な一貫性は取れていません。そのため、Fable 5は画像間に矛盾する場合は1枚目を基準とすると決めて、制作を進めていきました。その際に重要なのが、Fable 5には、トークン消費を抑えるために、設計と検収のみを担当し、実作業は下位モデルの「Opus」や「Sonnet」をAIエージェントとして作業させるようにと強く指示しておくことです。Fable 5は能力がずば抜けて高いのですが、トークン消費量も大きく、実作業をやらせるとあっという間に利用上限に達してしまうためです。トークン消費量の少ない他のLLMと作業分担することで、かなり抑制できます。

夏の和室のイメージ

夏の和室の別カット案

　いったん作業が始まると、ただ進捗が進むのを待つことになります。簡易形状でのモデリングをするためのツールをダウンロードするなど、Claude Codeは、様々な権限を認めることを求めてきます。

　作成は、プリミティブという基本的な図形モデルの組み合わせが基本です。3Dモデルは、「bpy（Blender Python）」という素のスクリプトをLLM側で設計して指示する方式で作られていきます。立方体・円柱・平面のプリミティブを寸法指定で置くことになるので、寸法を定義できるものの作成は得意ですが、今回のようにAIがプリミティブを組み合わせて形状を設計する方法では、複雑な有機形状の再現は苦手です。

　作業は、PythonのスクリプトをLLMが書き、それを実行して、結果のスクリーンショットを撮影し、それをチェックするという繰り返しで進みますが、それなりに時間がかかり、ある程度の形になるまでには2時間ほどかかります。LLMがチェックに使うスクショを通じて、作業の進捗を眺めることができます。

AIが作業の進捗を確認しているスクリーンショット。最初は箱を置いただけから、複雑なものが作られていく

　作業が進むにつれて、中庭などが追加されていきます。途中で、筆者のリクエストで、扇風機を追加しました。扇風機のイメージ画像は、Claude Code経由でCodexを呼び出し、GPT Image 2を使ってイメージ画像を作り、それに合わせて作らせています。

　完成品は、Fable 5の判断に任せて、部屋全体の雰囲気が伝わるカメラワークで動画を作成するよう指示し、動画ファイルとして作成させました。その際、扇風機の羽の回転や首振りの追加は、Fable 5から提案があったものに任せて設定しています。

部屋の作成過程。段々と複雑になっていく

完成したシーンをレンダリングしたもの。ブラウン管テレビや障子がおかしいため、気になる点は、この後に、さらに指示を重ねて修正している

△完成したプリビズ動画

　こうなってくるとキャラクターも配置したくなりますが、比較的簡単に実現できます。アバターフォーマットの「VRM」を使うやり方です。BlenderのアドオンにはVRMを操作するためのものもあり、それを利用していきます。といっても、これもFable 5に、読み込ませるVRMファイルを指定して、読み込んで配置するよう指示するだけです。そうすると、同じように環境整備から、配置まですべてをやってくれます。「女性キャラクターが座布団の上に座っていて、頭を動かしながら、手で仰いでいるシーンにして」と指示しました。

　ドローンタイプのカメラ構成だとわかりにくかったため、カットを数秒ごとに切り替える形に変えて、最終的なプリビズとしました。そして、Seedance2.0で、実際に動画化するために、GPT Image 2を使って、6カットのカメラが切り替わる最初のフレームをアニメ風に変換しました。

　この作成結果が、冒頭の動画になります。

VRMキャラクターを配置した状態

アニメ風に変換した画像。ある程度画風が変化したため、位置関係などが変化しているものがある