このページの本文へ

前へ 1 2 3 次へ

新清士の「メタバース・プレゼンス」 第36回

アニメの常識、画像生成AIが変える可能性「AnimateDiff」のすごい進化

2023年09月11日 07時00分更新

文● 新清士　編集●ASCII

  • この記事をはてなブックマークに追加
  • シェア
  • 一覧
  • 本文印刷

公式サンプルを元に筆者作成。サイト用に縮小した。実際の作成サイズは1152×768ピクセル

　原画と原画の間にあたる画像を複数枚入れることで、自然な連続性のある動きを作る。アニメの基本となる「中割」作業を画像生成AIが実現する可能性が出てきました。鍵になっているのは「AnimateDiff」という技術。8月に入って、様々なユーザーのアップデートによって機能拡張が進められています。それは完全な画像生成AIで作られるアニメの可能性を垣間見せるほどのものです。

16コマ/2秒の短い動画が生成できる

AimateDiffにより生成された16コマ（2秒分）

　AnimateDiffは7月10日に発表された、上海AIラボ、香港中文大学、スタンフォード大学の共同研究による技術。画像生成AI「Stable Diffusion」の仕組みとデータセットを利用しつつ、数百万本の動画を学習させた「モーションモジュール」と呼ばれるデータセットを別途に参照させることで、連続するキャラクターの動きを生成可能にするというのが基本原理です。生成できる時間は、16コマ/2秒が基本。それ以上になると破綻しやすいという弱点もあるのですが、短時間ながら画像生成AIによって連続するアニメーションが作成できるということ自体が画期的だったのです。

　研究の発表と同時に、クラウドサービス「Google Colab」で使えるバージョンが登場しましたが、1週間後にはStable DiffusionをローカルPCで動かすための動作環境「WebUI A1111」の拡張機能として使えるバージョンを有志が開発したことで注目されました。しかし、Stable Diffusion版は画像が色あせした状態でしか出力されないとか、長文のプロンプトを使うと機能しない上、途中で別のコマに替わってしまうといった様々なバグがあったんです。その改善もなく事実上開発が止まっていた状態になっていて、いまひとつ可能性が引き出せないということで焦らされていた状態でした。

　そんななか、注目されたのがTDSさんによる改造版AnimateDiffです。

「Stable Diffusion向けAnimateDiff」改造版が登場

WebUI A1111のAnimateDiffの設定部分。ControlNetと組み合わせて使えるようにTDSさんが改造した

　TDSさんはもともとStable Diffusionの「ControlNet」機能を利用することで、アニメーションの中割をする技術の模索を試されていた方でした（ControlNetについての記事はこちら）。画像のスタートと終わりを指定し、その途中の変化を画像生成AIに生成させようという方法です。

▲画像の最初と最後の画像に、ControlNetにTileの重み付けを変えて生成することで、アニメーションに見える画像を作り出す実験例

▲ControlNet OpenPoseを利用することで、天使の羽が羽ばたいているアニメーションを作り出している

　そして8月21日に大きなブレイクスルーをもたらしたのが、AnimateDiffのソースコードを改造して、最初と最後の画像を指定して18フレームの画像を生成できる仕組みを作り上げたことでした。

　さらに、色あせ問題を修正したバージョンも8月24日に公開。WebUI A1111環境で、高画質の画像を生成することができるようになったのです。

　現状はカスタムのプログラムコードを組み込む形になっていますが、本家への統合を求めているということ。いずれそれらの機能が正式に反映されるようになるのではないかと思います。

前へ 1 2 3 次へ

カテゴリートップへ

この連載の記事
この記事の編集者は以下の記事をオススメしています
ピックアップ