著名な生成AI研究者のlllyasviel（イリヤスフィール）氏が7月9日、入力したイラストの制作過程を動画で予想して再現するAIモデル「Paints-UNDO」を同氏のGitHubレポジトリーにて公開した。
タイムラプス風動画を生成
Paints-UNDOは、デジタルペイントソフトの「元に戻す」（Undo）機能をAIで再現したようなツールと説明されている。
完成したデジタルアートをPaints-UNDOに入力として与えると、白紙の状態から完成までの過程を動画として生成する。つまり人間の描画プロセスをAIが模倣しているように見えるわけだ。
とはいえ実際に人間が描いているわけではなく、あくまでAIが途中経過を推論しているだけなので、コマ送りで見てみるとまったく連続していないことがわかる。あくまでタイムラプス「風」の動画が作成できるというレベルだ。
完成した動画から抜き出した画像
現在プログラムはGitHubで公開されており、誰でも自由にダウンロードして試すことができる。また、デモページには多数の動画サンプルが公開されている。
2つのAIモデルがそれぞれ原画と動画を担当
Paints-UNDOは、「Single-frame model」と「Multi-frame model」という2つのAIモデルで構成されている。
画像を与えると、まずはSingle-frame modelが「人間が1000回の作業でこのイラストを完成させる」という仮定の上で各段階の画像を生成する。
その後、Multi-frame modelが生成された作業段階間の詳細な過程を補完する。
アニメーションでたとえると、Single-frame modelが「原画」を生成し、Multi-frame modelが原画と原画の間を補完する「動画」を生成、動画として出力するという形だ。
Paints-UNDOは、Stable Diffusionなどの画像生成AIでキャラクターのポージング補助などを可能にする「ControlNet」や、照明を自在に操作できる「IC-Light（Imposing Consistent Light）」を開発したことでも有名な画像生成AI関連の著名な開発者、lllyasviel氏によって個人で開発された。
技術の実用的な応用例はまだ具体的に示されていないが、将来は人間がラフスケッチを描き、AIに「アンドゥー」「リドゥー」をさせることで、ペン入れや着彩を任せ、必要に応じて人間が修正を加えるといった作業フローが実現するかもしれない。
