Step 1: Upload Image and Generate Prompt
それでは動画を作成していこう。Paints-UndoのUIは3つのステップにわかれており、上からひとつずつ実行していくことで動画が完成するようになっている。
最初のステップは「Upload Image and Generate Prompt」、元になる画像(動画では最後のフレームになる)をアップロードし、画像からプロンプトを生成するという手順だ。なお、プロンプトはキーフレームの精度を高めるために利用されているようだ
画面左側をクリックして元画像をアップロード。ここでは前回の記事で作成した、Midjourneyによる魔法少女画像を使ってみよう。
アップロードが終わったら右側の「Generate Prompt」をクリック。
画像を元にしたプロンプトが作成された。
Step 2: Generate Key Frames
次のステップは「Generate Key Frames」、キーフレームを作成するフェーズだ。
Paint Undoは一枚の絵の制作過程(白紙から完成まで)を1000ステップに分解、各ステップの静止画を生成し、逆から再生することでタイムラプスのような動画を作成している。
このステップでは、1000枚生成する際のガイドとなる数枚(デフォルトは6)のキーフレーム(中間段階の絵)を生成する。これらのキーフレームを基に、Step3で1000枚の画像全体を補完し、滑らかな動画を作り出すのだ。
キーフレームはデフォルトでは「400」「600」「800」「900」「950」「999」に設定されている。ここを調整することでいろいろ変化が楽しめそうだ。
「Image Width」「Image Height」は元絵と違っていても構わないが、アスペクト比は合わせたほうがいいだろう。
設定が済んだら「Generate Keyframe」をクリック。
生成するのは6枚なので(環境によるが)1分程度で生成された。
左上が完成品、その右が生成されたキーフレーム「400」、以下「600」「800」「900」「950」「999」そして最後が「白紙」の画像となる。
キーフレームをクリックすることで拡大して確認できる。ダウンロードも可能だ。
Step 3: Generate All Videos
最後のステップとなるのが「Generate All Videos」。作成したキーフレームを元に、その間を補完し1000フレームの動画を生成するフェーズだ。
プロンプト欄にはデフォルトで画質系のプロンプトが入っているが、念の為ステップ1で作成したプロンプトをコピペしておいた。
これですべての準備が完了。「Generate Video」をクリック。
動画の生成は7つのステップに分けて行われる。筆者の環境では初回のみ13分、2回目以降は5分程度と思ったより速く生成された。
これが完成した動画だ。確かにタイムラプス動画に見えなくもないが、よく見ればすぐに完成型とあまり関係のないスケッチが頻繁に登場することがわかるだろう。
— kazuhiro taguchi (@tagkaz) July 22, 2024
今回はあまり試すことができなかったが、キーフレームの位置を調整しつつ原画に近いものが出るのを狙えばもう少し近いものができるかもしれない。
この連載の記事
-
第17回
AI
人気の画像生成AI、違いは? Stable Diffusion XL、Midjourney、DALL-E、Playgroundの画風を比較する -
第16回
AI
画像生成AI「Midjourney」の使い方 画風やキャラクターを固定する「スタイルリファレンス」「キャラクターリファレンス」はこう使う -
第15回
AI
画像生成AI「Midjourney」の使い方 思いどおりの絵を出すための「パラメーター」まとめ【最新版】 -
第14回
AI
画像生成AI「Midjourney」の使い方 ユーザー登録から最新機能まで【最新版】 -
第13回
AI
Macで始める画像生成AI 「Stable Diffusion」ComfyUIの使い方 -
第12回
AI
これは便利!「Stable Diffusion」が超簡単に始められる「Stability Matrix」 -
第11回
AI
画像生成AI「Stable Diffusion」使うなら「ComfyUI」のワークフローが便利です -
第10回
AI
画像生成AI「Stable Diffusion」使い倒すならコレ! 「ComfyUI」基本の使い方 -
第9回
AI
画像生成AI「Stable Diffusion」を使い倒す! モジュラーシンセみたいな「ComfyUI」をインストール -
第8回
AI
Stable Diffusionで画像からプロンプト(呪文)を生成・抽出する方法。Fooocusの新機能「Describe」が便利でした - この連載の一覧へ