新清士の「メタバース・プレゼンス」 第119回

無料の動画生成AI「Wan2.2」が凄すぎる　PCローカルでこの品質が出せるとは

360度回転画像が完璧！ヌードも出せる

　Wan2.2は、潜在的な応用範囲が非常に広いことも明らかになりつつあります。たとえば、人物の画像を360度回転させる動画も、LoRAなしでほぼ完璧にできます。元画像から、その画風まで含めて、本来存在しないはずの裏面を見事に描いて見せるのです。これは推論能力の高さの証明でもあります。360度回転が実現できると、三面図などの作成が容易になり、さらにその画像をリファレンスにすることで、一貫性を保った動画を作成したり、高品質な3Dモデル化を可能にするなど、様々な用途が出てきます。

　また、ヌードのような動画も出力できます。ヌードは、人体の形状や動きを正確にAIが理解するためには、必須だと考えられています。Wan2.1のときには、出力結果がおかしなものが出ることがあり、学習時に制限がかかっていると感じられていたのですが、Wan2.2ではそういう制限は入っていないようです。また、クラウドのサービスの場合は、その生成内容から出力時に制限がかかることが多いのですが、ローカルPCで扱えるために、そうした制限なく扱えるのです。もちろん、出力結果にはユーザーの責任が伴うことに、より注意を払うことが必要です。

△イラスト風から、実写風、フィギュア風など様々な画風のキャラクターを360度回転させたもの。プロンプトは「character preview 360-degree rotation」

ついに「始点」「終点」も指定可能に

　学習結果に大きな制約が課せられていない素直なモデルは、今後の追加の技術開発も実現しやすくなると考えられます。8月3日には、ComfyUIが、終点フレームを指定できる機能を拡張したワークフローの提供を開始しました。これにより、表現の幅が一気に広がることになりました。

　実際にその機能を使って作成したのが、明日来子さんが土手を歩いている次の作例です。

　この動画は、独Black Forest Labsの画像生成AI「Flux.1 Kontext [dev]」を利用して作成した人物の複数の角度の画像を作成し、Midjourneyで作成した背景に組み合わせることで、始点と終点を作成しています。（参考：“一貫性”がすごい画像生成AI　冬服→夏服も一発変換　話題の「FLUX.1 Kontext[dev]」 ）

　そして、キャラクターと背景のフィット感を生み出すために、7月29日に「Adobe Photoshop」ベータ版に搭載された新しいAI機能の「調和」機能を使い、画像をなじませています。そしてWan2.2で動画を生成すると、「若い女性が歩いている」とプロンプトで指定するだけで、補完するように間のフレームをつないでくれます。

　ローカルPCを使って、完全にAIで作成した画像だけで、かなり複雑な動画を作成できる時代になっているのです。

△明日来子さんの風景動画。白い模様もベース画像をMidjourneyで作成し、Wan2.2で動画化して、「Premiere Pro」で合成している。Topaz Video AIを使い、画像サイズを2倍化、フレームレートを16から60にアップスケールしている。音楽はSunoで作成

左上が始点フレーム、右上が終点フレーム。左下はFlux.1 Kontext [Dev]で作成してたもので、右下はFlux.1 Kontext [Dev]で作成した全身像を回転させて作った動画から、切り出したスクリーンショット。これらを背景画像と組み合わせている