Stable Diffusion入門 from Thailand 第20回

話題の画像生成AI「FLUX.1」をStable Diffusion用の「WebUI Forge」で動かす（高速化も試してみました）

モデルによる比較

　最後に、量子化処理がされていないベースモデルも含む以下の6モデルを使い、同じプロンプト、SEED値で作成された画像、そして生成時間を比較してみよう。

バージョン	ファイル名
Dev (オリジナル)	flux1-dev.safetensors
Dev FP8	flux1-dev-fp8.safetensors
Dev NF4 v2	flux1-dev-bnb-nf4-v2.safetensors
Schnell (オリジナル)	flux1-schnell.safetensors
Schnell FP8	flux1-schnell-fp8.safetensors
Schnell NF4	flux1-schnell-bnb-nf4.safetensors

プロンプト：A photorealistic portrait of a young Japanese woman with long black hair and natural makeup, wearing a casual white blouse, sitting in a modern Tokyo cafe with soft window light

　なおSEED値はすべて「2307193247」を使用している。

「Dev」系モデル

　まずは「Dev」系のオリジナルモデル。FP16の「flux1-dev.safetensors」で試してみよう。なお、このモデルは量子化されたモデルと異なり、テキストエンコーダーやVAEが含まれていないので、「VAE/Text Encoder」に「ae.safetensors（VAE）」と「clip_l.safetensors」「t5xx_fp16.safetensors」の2つのテキストエンコーダーを明示的に指定する必要がある。

flux1-dev.safetensors

　生成された画像の下には、プロンプトや各種パラメーターがすべて記載されている。描画時間は1分9秒。

flux1-dev.safetensors

flux1-dev.safetensors

　次に、「FP8」で量子化された「flux1-dev-fp8.safetensors」モデル。こちらはVAEやテキストエンコーダーが含まれているファイルだと思うが念のために指定しておいた。

flux1-dev-fp8.safetensors

　描画時間はなぜかオリジナルモデルよりも長い1分30秒。設定を追い込めばもう少し早くはなるだろう。

flux1-dev-fp8.safetensors

flux1-dev-fp8.safetensors

　最後に、「NF4」で量子化されたモデル「flux1-dev-bnb-nf4-v2.safetensors」だ。こちらは「t5xx_fp16.safetensors」を指定している。

flux1-dev-bnb-nf4-v2.safetensors

　描画時間は36秒。画像もオリジナルと比べてそれほど劣化しているようには見えない。

flux1-dev-bnb-nf4-v2.safetensors

flux1-dev-bnb-nf4-v2.safetensors

「Schnell」系モデル

　次に、軽量な「Schnell」系モデルを使ってみよう。まずはオリジナルモデルの「flux1-schnell.safetensors」を使用。こちらもVAEとテキストエンコーダーを明示的に指定する。

flux1-schnell.safetensors

　「Dev」では20にしていたSampling Stepsを、「Schnell」では「4」に変更するのを忘れずに。

Sampling Stepsは4で

　生成された画像。同じプロンプト、SEED値にも関わらず「Dev」とはかなり異なる画像が生成された。生成時間は17.5秒とさすがに早い。

flux1-schnell.safetensors

flux1-schnell.safetensors

　次に「FP8」で量子化された「flux1-schnell.safetensors」モデル。こちらもVAEとテキストエンコーダーを指定しているが、恐らく指定しなくとも描画は可能なはず。

flux1-schnell-fp8.safetensors

　描画時間は21.9秒と、こちらもオリジナルモデルより遅いという結果になってしまった。

flux1-schnell-fp8.safetensors

flux1-schnell-fp8.safetensors

　最後に「NF4」で量子化された最も軽量なモデル「flux1-schnell-bnb-nf4.safetensors」。

flux1-schnell-bnb-nf4.safetensors

　描画時間はなんと7.9秒。4ステップにも関わらず画像のクオリティーも悪くない。

flux1-schnell-bnb-nf4.safetensors

flux1-schnell-bnb-nf4.safetensors