新清士の「メタバース・プレゼンス」 第36回

アニメの常識、画像生成AIが変える可能性「AnimateDiff」のすごい進化

ComfyUI版AnimateDiffも登場

　専用のDiscordでは情報交換が活発にされていますが、現状最も大きな話題になっているのは、9月2日にコミュニティの支援を受けつつ開発が進められていた、Kosinkadinkさんの「ComfyUI AnimateDiff Evolved」です。

　これはノードベースの画像生成ツール「ComfyUI」でAnimateDiffを使用するもの。WebUI A1111が抱えていた数々のバグの問題を解消したうえ、アップスケーラーの「Upscale」や、「ControlNet」にも最初から対応しているというバージョンです。

　ControlNetを使う場合、2秒/16コマに合わせて枚数分の参照用データが必要になりますが、冒頭に挙げた動画のように、非常に美しい動画が生成されます。

ComfyUI AnimateDiffの作業環境（公式サイトより）

うまく行った。サンプルのUpscaler 1.5倍の768x768でも成功した。色味の退色なくとてもきれいな色彩。画像サイズが大きいから、これまで以上にきれいに見える。 #AnimateDiff#ComfyUIpic.twitter.com/xZRXkgvbPL

— Alone1M (@Alone1Moon) September 3, 2023

　実際、生成AIでのアニメーションの可能性を模索されているtoyxyzさんは、さっそくControlNetとOpenPoseとを組み合わせて、格闘ゲームの待機モーションのような動画を作って公開されています。

ComfyUI Animatediff conditioning(Set mask) test #stablediffusion#AIイラスト#AI#AnimateDIFF#ComfyUIpic.twitter.com/zM3ZLYb4Ju

— toyxyz (@toyxyz3) September 1, 2023

Openpose + Lineart pic.twitter.com/JMlHMD3s78

— toyxyz (@toyxyz3) September 1, 2023

▲棒人間がOpenPoseで、線上のものがLineart

ControlNetのLineartを利用して動きをつけている例（筆者作成）

アニメやゲームに影響を与えるのは時間の問題

　今はまだ、長時間の動画を作ると破綻してしまうとか、特に手や指などをきちんと描写するのが苦手で、カメラワークのコントロールが難しさといった、画像生成AI固有の課題を抱えています。

　しかしAnimateDiffが登場した7月からここまでにかかった時間はわずか2ヵ月。今後、生成できる時間が2秒から数秒に伸び、それが数分のプロモーションビデオになり、さらにはショートストーリー（短尺動画）なりに応用されることは容易に予想が付きます。アニメやゲームの映像制作に影響を与えるようになるのも、時間の問題ではないでしょうか。

 

筆者紹介：新清士（しんきよし）

1970年生まれ。株式会社AI Frog Interactive代表。デジタルハリウッド大学大学院教授。慶應義塾大学商学部及び環境情報学部卒。ゲームジャーナリストとして活躍後、VRマルチプレイ剣戟アクションゲーム「ソード・オブ・ガルガンチュア」の開発を主導。現在は、新作のインディゲームの開発をしている。著書に『メタバースビジネス覇権戦争』（NHK出版新書）がある。