Stable Diffusion入門 from Thailand 第18回

イラストを完成させる動画はAIで作れるのか「Paints-Undo」試してみた

Step 1: Upload Image and Generate Prompt

　それでは動画を作成していこう。Paints-UndoのUIは3つのステップにわかれており、上からひとつずつ実行していくことで動画が完成するようになっている。

　最初のステップは「Upload Image and Generate Prompt」、元になる画像（動画では最後のフレームになる）をアップロードし、画像からプロンプトを生成するという手順だ。なお、プロンプトはキーフレームの精度を高めるために利用されているようだ

　画面左側をクリックして元画像をアップロード。ここでは前回の記事で作成した、Midjourneyによる魔法少女画像を使ってみよう。

　アップロードが終わったら右側の「Generate Prompt」をクリック。

　画像を元にしたプロンプトが作成された。

Step 2: Generate Key Frames

　次のステップは「Generate Key Frames」、キーフレームを作成するフェーズだ。

　Paint Undoは一枚の絵の制作過程（白紙から完成まで）を1000ステップに分解、各ステップの静止画を生成し、逆から再生することでタイムラプスのような動画を作成している。

　このステップでは、1000枚生成する際のガイドとなる数枚（デフォルトは6）のキーフレーム（中間段階の絵）を生成する。これらのキーフレームを基に、Step3で1000枚の画像全体を補完し、滑らかな動画を作り出すのだ。

　キーフレームはデフォルトでは「400」「600」「800」「900」「950」「999」に設定されている。ここを調整することでいろいろ変化が楽しめそうだ。

　「Image Width」「Image Height」は元絵と違っていても構わないが、アスペクト比は合わせたほうがいいだろう。

　設定が済んだら「Generate Keyframe」をクリック。

　生成するのは6枚なので（環境によるが）1分程度で生成された。

　左上が完成品、その右が生成されたキーフレーム「400」、以下「600」「800」「900」「950」「999」そして最後が「白紙」の画像となる。

　キーフレームをクリックすることで拡大して確認できる。ダウンロードも可能だ。

Step 3: Generate All Videos

　最後のステップとなるのが「Generate All Videos」。作成したキーフレームを元に、その間を補完し1000フレームの動画を生成するフェーズだ。

　プロンプト欄にはデフォルトで画質系のプロンプトが入っているが、念の為ステップ1で作成したプロンプトをコピペしておいた。

　これですべての準備が完了。「Generate Video」をクリック。

　動画の生成は7つのステップに分けて行われる。筆者の環境では初回のみ13分、2回目以降は5分程度と思ったより速く生成された。

　これが完成した動画だ。確かにタイムラプス動画に見えなくもないが、よく見ればすぐに完成型とあまり関係のないスケッチが頻繁に登場することがわかるだろう。

pic.twitter.com/5H6Gg6sgDz

— kazuhiro taguchi (@tagkaz) July 22, 2024

　今回はあまり試すことができなかったが、キーフレームの位置を調整しつつ原画に近いものが出るのを狙えばもう少し近いものができるかもしれない。