Stable Diffusion入門 from Thailand 第20回
話題の画像生成AI「FLUX.1」をStable Diffusion用の「WebUI Forge」で動かす(高速化も試してみました)
2024年08月18日 17時00分更新
さっそく生成してみよう
以下はStable Diffusion WebUI Forgeの起動画面だ。
画面左上の「UI」セクションでは、利用するAIモデルを選択できるようになっている。今回はFLUX.1を使用するので「flux」をクリックしてみよう。
すると、画面上部の要素がFLUX.1専用のものに変更される。
ここでは「Checkpoint」欄に「flux1-dev-bnb-nf4-v2.safetensors」、「VAE/Text Encoder」欄に「t5xxl_fp16.safetensors」を選択しよう。
次に各種設定を確認していこう。AUTOMATIC1111版WebUIやForgeを利用したことがある人ならスムーズに理解できるだろう。
①「Prompt」:描いてほしい画像の説明を英語で記入する。推奨は75トークン以下となっている。
②「Negative Prompt」:FluxモデルはNegative Promptを使用しないためここは空欄で。
③「Sampling steps」:「Dev」は20、「Schnell」は4が推奨されている。
④「Width / Height」:ここでは「1152/896」とした。
⑤「CFG Scale」:Fluxモデルは「1」で固定。
⑥「Distiler CFG Scale」:Fluxモデル特有の機能で、通常のCFG Scaleを補完または置き換える。推奨値は「3.5」。
⑦「Generate」:画像生成を開始
プロンプトは前回も使用したものを流用。なお、これで30トークンなのでこれの2.5倍くらいの分量まではいけそうだ。
プロンプト:A photorealistic portrait of a young woman with dyed pastel pink hair and subtle makeup, wearing trendy streetwear, standing in a bustling urban crossing with neon signs in the background
「Generate」をクリックすると生成が開始される。ログを注意深く見ていくとわかるが、モデルのロードに必要なメモリーの計算をして、GPUメモリーで足りない分はCPU側のメモリーにロードしているようだ。
タスクマネージャーのパフォーマンスを見ると、GPUメモリーは12GB中7.7GBしか使われておらず、CPUのメモリーが23.6GB使われていることがわかる。貴重なGPUメモリーをCUDAの共有GPUメモリーではなく通常のCPUメモリーで肩代わりしているわけだ。
ということで、無事いつものピンク髪お姉さんが生成された。かかった時間は50秒だったが、2度目以降は35秒ほどに落ち着いた。ComfyUIでは1分以上かかっていたので大幅なスピードアップに思えるが、今回使用しているのは前述のように量子化によって軽量化したNF4版のため、純正モデルより画像のクオリティーは落ちているはずだ。
![](/img/blank.gif)
この連載の記事
-
第19回
AI
画像生成AI「Stable Diffusion」の代替に? 話題の「FLUX.1」を試した -
第18回
AI
イラストを完成させる動画はAIで作れるのか「Paints-Undo」試してみた -
第17回
AI
人気の画像生成AI、違いは? Stable Diffusion XL、Midjourney、DALL-E、Playgroundの画風を比較する -
第16回
AI
画像生成AI「Midjourney」の使い方 画風やキャラクターを固定する「スタイルリファレンス」「キャラクターリファレンス」はこう使う -
第15回
AI
画像生成AI「Midjourney」の使い方 思いどおりの絵を出すための「パラメーター」まとめ【最新版】 -
第14回
AI
画像生成AI「Midjourney」の使い方 ユーザー登録から最新機能まで【最新版】 -
第13回
AI
Macで始める画像生成AI 「Stable Diffusion」ComfyUIの使い方 -
第12回
AI
これは便利!「Stable Diffusion」が超簡単に始められる「Stability Matrix」 -
第11回
AI
画像生成AI「Stable Diffusion」使うなら「ComfyUI」のワークフローが便利です -
第10回
AI
画像生成AI「Stable Diffusion」使い倒すならコレ! 「ComfyUI」基本の使い方 - この連載の一覧へ