Stable Diffusion入門 from Thailand 第11回
画像生成AI「Stable Diffusion」使うなら「ComfyUI」のワークフローが便利です
2024年02月28日 12時00分更新
Stable Diffusion向けユーザーインターフェース「ComfyUI」使い方解説、第3回。インストール方法については第1回、使い方の基本については第2回を参照してほしい。
まずは前回作成したワークフローを表示する。保存していない場合は「Load Default」でデフォルトにしてもOKだ。
プロンプト:1 girl, photorealistic, solo, perfect lighting, sailor dress, looking at viewer, long hair, black hair, two side up,
ネガティブプロンプト:illustration, 3d render, (worst quality:2), (low quality:2), (normal quality:2), signature, watermark, username, open mouth
上記のプロンプトで1枚生成してみよう。モデルは「SDXL」のベースモデルに変更している。もちろんモデルやプロンプトを変更しても大丈夫。
さすがSDXL、シンプルなプロンプトでもほぼ破綻のない絵が生成された。背景が帆船なのは「sailor dress」に引っ張られているのだろう。
LoRAを追加する
今回はこのシンプルなワークフローに「LoRA(Low-Rank-Adaptation)」を追加してみたいと思う。
LoRAは、非常に少ない計算量で追加学習したモデルのこと。生成時にLoRAを追加することで、イラストの画風やキャラ、服装、髪型などを狙い通りのものにしてくれる。
LoRAはHugging FaceやCivitAIなどで配布されているので、使いたいLoRAをダウンロードして「ComfyUI/model/loras」に置いておく必要がある。WebUIとモデルフォルダーを共有している場合は「stable-diffusion-webui/models/Lora」だ。
ComfyUIでLoRAを利用したいときは「Load LoRA」というノードを追加する。画面内のどこかを右クリック。
Add Node > loaders > Load LoRAを選択する。
ノードが出現。ここでは「wavetopXL.safetensors」という背景に、「波」を表示するLoRAを選んでみた。
作成したノードをつなぐ。Load LoRAノードは、ワークフローの先頭にあるLoad Checkpointの後ろにつなぐ必要がある。
Load Checkpointノードの「MODEL」「CLIP」を、Load LoRAノードの「model」「clip」に接続。
さらにLoad LoRAノードの「MODEL」をKSamplerノードの「model」に接続。同じく「CLIP」を「CLIP Text Encoder」の「clip」にそれぞれ接続する。
なお、LoRAだけではなく、「LyCORIS」や「LoCon」などがこの方法で使用できる。
接続が完了したワークフロー。赤枠で囲まれた部分が追加されたLoad LoRAノードだ。さっそく「Queue Prompt」で1枚生成してみよう。プロンプトは先程と同じものを使用した。なお、WebUIなどのようにプロンプト内にパラメーターやトリガーワードを入れる必要はないようだ。
生成された画像。狙い通り背景に立派な波が生成された。
この連載の記事
-
第15回
AI
画像生成AI「Midjourney」の使い方 思いどおりの絵を出すための「パラメーター」まとめ【最新版】 -
第14回
AI
画像生成AI「Midjourney」の使い方 ユーザー登録から最新機能まで【最新版】 -
第13回
AI
Macで始める画像生成AI 「Stable Diffusion」ComfyUIの使い方 -
第12回
AI
これは便利!「Stable Diffusion」が超簡単に始められる「Stability Matrix」 -
第10回
AI
画像生成AI「Stable Diffusion」使い倒すならコレ! 「ComfyUI」基本の使い方 -
第9回
AI
画像生成AI「Stable Diffusion」を使い倒す! モジュラーシンセみたいな「ComfyUI」をインストール -
第8回
AI
Stable Diffusionで画像からプロンプト(呪文)を生成・抽出する方法。Fooocusの新機能「Describe」が便利でした -
第7回
AI
秒100枚の画像生成ができるという「Stream Diffusion」を動かそうとしたらたいへんだったお話 -
第6回
AI
画像生成AI「Stable Diffusion」を爆速化。秒単位で美少女を生成できるLCM系ツールを使い比べた -
第5回
AI
画像生成AI「Stable Diffusion XL」が簡単に使える「Fooocus」。画像から画像が作れる「Image Prompt」が便利です - この連載の一覧へ