SDXL対応のモデルやLoRA、ControlNetが簡単に
SDXLはリリースから半年ほどが経ち、歩みがゆっくりではありましたが、それでもいろいろと環境が整いつつあります。
たとえば、2024年1月にユーザー主導で開発されたアニメ特化型モデル「Animagine XL 3.0」。非常に鮮やかでアニメっぽい絵柄が簡単に出るため「革命的だ」と話題になりました。Stable Diffusion 1.5ベースのモデルにここまで色鮮やかな色彩は出せません。SDXL対応LoRAも様々なものが開発され、SDXL用のControlNetも品質の高いものが出てきました。こうしたSDXL向けの諸々が、Forgeによって手軽に試せるようになったわけです。
WebUI A1111の資産を引き継げる
機能としてありがたいのはStable Video Diffusionに対応していること。Stablity AIのサイトからモデルをダウンロードして設定すれば、何も気にせず簡単に生成ができます。
lllyasviel氏のStable-Diffusion-WebUI-ForgeにSVDというタグがあったので、Stable Video Diffusionだよなあと思って、SVD1.1を落としてきて、Modelに配置して生成してみた。ものすごく簡単に、SVDで動画を生成できた。 pic.twitter.com/L5B4scZUuZ
— 新清士@(生成AI)インディゲーム開発者 (@kiyoshi_shin) February 6, 2024
また、これまでのA1111ユーザーにとっては、ControlNetやLoRAなどの資産がそのまま使えて、環境として引き継げるという利点もあります。
これまで、SDXLに特化したユーザーインターフェースとしてはIllyasvielさんが開発したFooocusがあり、こちらも様々な機能強化が勧められてきました。あらかじめ画風ごとに用意されたプロンプト「Style(スタイル)」や、ControlNetの一種で画風をコントロールする「ImagePrompt(イメージプロンプト)」といった独自機能が追加され、簡単に扱えるようになっています。ただ、その特性上、細かい処理を施そうとしても、思ったものとは違うものが出てきてしまうところがありました。A1111ベースのForgeではその心配がありません。
一方、Forgeの弱点としては、処理方法がA1111と変わっているために、「日本発の画像生成AIサービスがすごい」で紹介したアップスケール機能の「Tiled Diffusion」が使えないんですね。これはセットで使う「Tiled VAE」が最初からシステムに統合されているためのようで、「Tiled Diffusion」に慣れていたユーザーはアップスケールの方法を模索する必要がありそうです。
この連載の記事
-
第67回
AI
アドビの画像生成AI機能がまた進化 白黒3Dモデルがリアルな都市に -
第66回
AI
有名人そっくり、増え続けるAI音声 “声の権利”どう守る -
第65回
AI
画像生成AIに照明革命 日本と世界で同時に“神ツール”登場 -
第64回
AI
自分好みのAIチャット相手を簡単に作れる「Dify」が面白い -
第63回
AI
まるで“いけない話ができるChatGPT” ローカルAI「Command R+」の爆発的な可能性 -
第62回
AI
動画生成AI、映像制作の“民主化”目指して研究進む -
第61回
AI
画像生成AI“児童ポルノ”学習問題、日本では表現規制の議論にも -
第60回
AI
3Dアニメーション技術の革新が止まらない -
第59回
AI
政府、生成AI推進に向けて議論を加速 -
第58回
AI
画像生成AIで同じキャラクターが簡単に作れるようになってきた -
第57回
AI
日本発のリアルタイム画像生成AIサービスが熱い 大手にとっては“イノベーションのジレンマ”に - この連載の一覧へ