ComfyUI版AnimateDiffも登場
専用のDiscordでは情報交換が活発にされていますが、現状最も大きな話題になっているのは、9月2日にコミュニティの支援を受けつつ開発が進められていた、Kosinkadinkさんの「ComfyUI AnimateDiff Evolved」です。
これはノードベースの画像生成ツール「ComfyUI」でAnimateDiffを使用するもの。WebUI A1111が抱えていた数々のバグの問題を解消したうえ、アップスケーラーの「Upscale」や、「ControlNet」にも最初から対応しているというバージョンです。
ControlNetを使う場合、2秒/16コマに合わせて枚数分の参照用データが必要になりますが、冒頭に挙げた動画のように、非常に美しい動画が生成されます。
うまく行った。サンプルのUpscaler 1.5倍の768x768でも成功した。色味の退色なくとてもきれいな色彩。画像サイズが大きいから、これまで以上にきれいに見える。 #AnimateDiff#ComfyUIpic.twitter.com/xZRXkgvbPL
— Alone1M (@Alone1Moon) September 3, 2023
実際、生成AIでのアニメーションの可能性を模索されているtoyxyzさんは、さっそくControlNetとOpenPoseとを組み合わせて、格闘ゲームの待機モーションのような動画を作って公開されています。
ComfyUI Animatediff conditioning(Set mask) test #stablediffusion#AIイラスト#AI#AnimateDIFF#ComfyUIpic.twitter.com/zM3ZLYb4Ju
— toyxyz (@toyxyz3) September 1, 2023
Openpose + Lineart pic.twitter.com/JMlHMD3s78
— toyxyz (@toyxyz3) September 1, 2023
▲棒人間がOpenPoseで、線上のものがLineart
アニメやゲームに影響を与えるのは時間の問題
今はまだ、長時間の動画を作ると破綻してしまうとか、特に手や指などをきちんと描写するのが苦手で、カメラワークのコントロールが難しさといった、画像生成AI固有の課題を抱えています。
しかしAnimateDiffが登場した7月からここまでにかかった時間はわずか2ヵ月。今後、生成できる時間が2秒から数秒に伸び、それが数分のプロモーションビデオになり、さらにはショートストーリー(短尺動画)なりに応用されることは容易に予想が付きます。アニメやゲームの映像制作に影響を与えるようになるのも、時間の問題ではないでしょうか。
本記事はアフィリエイトプログラムによる収益を得ている場合があります

この連載の記事
-
第182回
AI
10年間作れなかったアプリが、AIでわずか10日で完成して感動 好きなキャラが踊る3Dライブをついに実現 -
第181回
AI
無料の画像生成AI「P-H3-Image」がすごい 参照画像1枚で同じ人物を自在に再現 -
第180回
AI
“AI彼女”が別人になる前に──記憶と人格を自分のPCに移植する -
第179回
AI
無料の画像生成AI「Moss-Image」がすごい 日本語も漫画も生成、商用利用OKの実力を試した -
第178回
AI
GPT-4o級モデルが自宅のPCで動いた! ローカルAIの常識を変える「Strata」 -
第177回
AI
AIに「法隆寺の五重塔」を作らせてみた 修正を重ねてたどり着いた驚きの完成度 -
第176回
AI
無料ツールとAIでMV制作が激変 After Effectsまで自動操作できた -
第175回
AI
AIが人間のようにゲームをプレイ 話題の「Jev」を試してわかったこと -
第174回
AI
AIでMVを作るのは想像以上に大変だった 制作34時間、繰り返した“ダメ出し”でわかったこと -
第173回
AI
OpenAI「Astra」は何でもできる、だからこそ“プロの指示”が必要になる -
第172回
AI
ついにAIキャラクターと“ビデオチャット”へ 「MiniMax H3」がリアルタイム生成に接近 - この連載の一覧へ








