新清士の「メタバース・プレゼンス」 第54回

画像生成AI、安いPCでも高速に　衝撃の「Stable Diffusion WebUI Forge」

SDXL対応のモデルやLoRA、ControlNetが簡単に

　SDXLはリリースから半年ほどが経ち、歩みがゆっくりではありましたが、それでもいろいろと環境が整いつつあります。

アニメ系に特化したモデルAnimagine XL 3.0。その表現力は革命的と言われており、このモデルをベースにした派生モデルもいくつも登場している

　たとえば、2024年1月にユーザー主導で開発されたアニメ特化型モデル「Animagine XL 3.0」。非常に鮮やかでアニメっぽい絵柄が簡単に出るため「革命的だ」と話題になりました。Stable Diffusion 1.5ベースのモデルにここまで色鮮やかな色彩は出せません。SDXL対応LoRAも様々なものが開発され、SDXL用のControlNetも品質の高いものが出てきました。こうしたSDXL向けの諸々が、Forgeによって手軽に試せるようになったわけです。

WebUI A1111の資産を引き継げる

　機能としてありがたいのはStable Video Diffusionに対応していること。Stablity AIのサイトからモデルをダウンロードして設定すれば、何も気にせず簡単に生成ができます。

lllyasviel氏のStable-Diffusion-WebUI-ForgeにSVDというタグがあったので、Stable Video Diffusionだよなあと思って、SVD1.1を落としてきて、Modelに配置して生成してみた。ものすごく簡単に、SVDで動画を生成できた。 pic.twitter.com/L5B4scZUuZ

— 新清士@(生成AI)インディゲーム開発者 (@kiyoshi_shin) February 6, 2024

　また、これまでのA1111ユーザーにとっては、ControlNetやLoRAなどの資産がそのまま使えて、環境として引き継げるという利点もあります。

　これまで、SDXLに特化したユーザーインターフェースとしてはIllyasvielさんが開発したFooocusがあり、こちらも様々な機能強化が勧められてきました。あらかじめ画風ごとに用意されたプロンプト「Style（スタイル）」や、ControlNetの一種で画風をコントロールする「ImagePrompt（イメージプロンプト）」といった独自機能が追加され、簡単に扱えるようになっています。ただ、その特性上、細かい処理を施そうとしても、思ったものとは違うものが出てきてしまうところがありました。A1111ベースのForgeではその心配がありません。

Fooocusの画面、スタイルを指定するだけで任意の方式で出せる簡単さがある。今後もアップデートの継続が告知されている

　一方、Forgeの弱点としては、処理方法がA1111と変わっているために、「日本発の画像生成AIサービスがすごい」で紹介したアップスケール機能の「Tiled Diffusion」が使えないんですね。これはセットで使う「Tiled VAE」が最初からシステムに統合されているためのようで、「Tiled Diffusion」に慣れていたユーザーはアップスケールの方法を模索する必要がありそうです。