Stable Diffusion入門 from Thailand 第11回

画像生成AI「Stable Diffusion」使うなら「ComfyUI」のワークフローが便利です

　Stable Diffusion向けユーザーインターフェース「ComfyUI」使い方解説、第3回。インストール方法については第1回、使い方の基本については第2回を参照してほしい。

　まずは前回作成したワークフローを表示する。保存していない場合は「Load Default」でデフォルトにしてもOKだ。

プロンプト：1 girl, photorealistic, solo, perfect lighting, sailor dress, looking at viewer, long hair, black hair, two side up,

ネガティブプロンプト：illustration, 3d render, (worst quality:2), (low quality:2), (normal quality:2), signature, watermark, username, open mouth

　上記のプロンプトで1枚生成してみよう。モデルは「SDXL」のベースモデルに変更している。もちろんモデルやプロンプトを変更しても大丈夫。

　さすがSDXL、シンプルなプロンプトでもほぼ破綻のない絵が生成された。背景が帆船なのは「sailor dress」に引っ張られているのだろう。

LoRAを追加する

　今回はこのシンプルなワークフローに「LoRA（Low-Rank-Adaptation）」を追加してみたいと思う。

　LoRAは、非常に少ない計算量で追加学習したモデルのこと。生成時にLoRAを追加することで、イラストの画風やキャラ、服装、髪型などを狙い通りのものにしてくれる。

　LoRAはHugging FaceやCivitAIなどで配布されているので、使いたいLoRAをダウンロードして「ComfyUI/model/loras」に置いておく必要がある。WebUIとモデルフォルダーを共有している場合は「stable-diffusion-webui/models/Lora」だ。

　ComfyUIでLoRAを利用したいときは「Load LoRA」というノードを追加する。画面内のどこかを右クリック。

　Add Node > loaders > Load LoRAを選択する。

　ノードが出現。ここでは「wavetopXL.safetensors」という背景に、「波」を表示するLoRAを選んでみた。

　作成したノードをつなぐ。Load LoRAノードは、ワークフローの先頭にあるLoad Checkpointの後ろにつなぐ必要がある。

　Load Checkpointノードの「MODEL」「CLIP」を、Load LoRAノードの「model」「clip」に接続。

　さらにLoad LoRAノードの「MODEL」をKSamplerノードの「model」に接続。同じく「CLIP」を「CLIP Text Encoder」の「clip」にそれぞれ接続する。

　なお、LoRAだけではなく、「LyCORIS」や「LoCon」などがこの方法で使用できる。

　接続が完了したワークフロー。赤枠で囲まれた部分が追加されたLoad LoRAノードだ。さっそく「Queue Prompt」で1枚生成してみよう。プロンプトは先程と同じものを使用した。なお、WebUIなどのようにプロンプト内にパラメーターやトリガーワードを入れる必要はないようだ。

　生成された画像。狙い通り背景に立派な波が生成された。