新清士の「メタバース・プレゼンス」 第72回

人が絵を描く“工程”をAIで再現　タイムラプス風動画が炎上した「Paints-Undo」

筆者が、Paints-Undoで中間過程のキーフレームを作成したもの

　7月9日、イラストが完成するまでの過程を生成できる画像生成ツール「Paints-Undo（ペイントアンドゥ）」が発表され、騒ぎとなりました。話題となったのは、人間がイラストを描いている様子をタイムラプスでとらえたかのように見えるデモ動画です。これが大きな反響を呼び、特に日本では"炎上”ともいえる状態になりました。日本では「タイムラプス動画を記録しておけば、“人間が描いた”と証明することができる」という話題が昨年からSNS上で出ていました。それを真っ向から否定することになりかねないという技術にも見えたことから、反発を含めて注目が集まったという印象です。よくよく見ると人間が描いているものとはかなり違い、また、技術の意図そのものも違っているようなのですが。

時間の流れを“逆転”させた動画を生成

多数のタイムラプス風動画がアップロードされているPaint-Undoのサンプル動画ページ

　Paints-Undoを開発したのは、「ControlNet」など画像生成AIツールの研究開発で知られるスタンフォード大学の研究者lllyasviel（イリヤスフィール）氏。またもや、新しいアプローチの研究で画像生成AIに切り込んできました。

　Paints-Undoは、1枚の完成画像から画像が完成するまでの過程を動画として生成するStable Diffusionベースのツールです。イラストを下描きから、線画、着彩という流れにしたがって描いているかのようのようなタイムラプス風の動画が生成されます。デフォルトの設定だと、NVIDIA RTX 4090の環境では、3分間程度で、27秒ほどの動画が作成されます。

　Paints-Undoは、3つのステップで動画を生成します。

　ステップ1で画像からプロンプトを生成し、ステップ2でキーフレームと呼ばれる生成の途中工程の画像を生成します。デフォルト設定では、最初の完成画像と最後の真っ白な画像を含めて6枚が追加で生成されます。そしてステップ3でキーフレームの間を補完するアニメーションを生成し、最終的な動画が完成します。もちろん各種設定を変更すると生成に必要な計算時間は変わってきます。

「PaintsUndo」のインストールうまく行った。なんのことはないインストールはうまく行っていたのに、gradioのローカルURLの設定を間違えていただけだった。ディフォルト設定で4090で27コマとコマ補完３分程度。 pic.twitter.com/gvsDoG00BD

— 新清士@(生成AI)インディゲーム開発者 (@kiyoshi_shin) July 9, 2024

▲筆者がcopainterの記事の作例を使って、Paints-Undoの動画を生成した動画

Paints-Undoの実際の画面。ステップ1で、画像生成の品質を上げるために、画像のプロンプトを解析している。ステップ2で、6枚の「キーフレーム」と呼ばれる画像を生成する

ステップ3で生成したキーフレームの間を補完するコマを生成。7回生成作業が繰り返され、全体では104コマ+最初の白紙と完成画像で構成される。それを最後に26秒の動画として出力する

　動画の生成はランダムなので、シード値（ランダムに割り振られる数字）を変えると、かなり違うものが出力されます。そのため、妙に下描きパートが長くて突然色がついたり、おかしな形状で生成されたものが突然完成形になったりしてしまい、自然に感じられる動画を生成することは簡単ではありません。また、アニメ風のキャラクターは得意ですが、実写系や構造の情報量が多すぎる画像は苦手。液体のように何なのか認識しにくいものや、デザイン系も苦手であることが限界として説明されています。

　今回、イリヤさんが革新的な手法として持ち込んできたのが、動画生成AIを使うとき、時間の流れをひっくりかえして生成するという方法です。これまでの動画生成AIは、ある画像を入力画像として設定した場合に、その画像がどう変化していくのかという時間を“前に”進めてきました。それを“後ろ”に進めるようにしたんです。

　つまり、「完成した画像」と「白いキャンバス」から工程を逆算させるという方法をとったことで、新たな生成動画の利用方法を発見したということです。これが「あ〜っ！」と驚かされたことでしたね。できあがった動画を逆回しにして出力することで、あたかもタイプラプスのように見えるようにしていた。わかってしまえば「あーなるほど」と思うわけですが、最初にそれを技法として発見したのがすごいといころです。