Stable Diffusion入門 from Thailand 第20回

話題の画像生成AI「FLUX.1」をStable Diffusion用の「WebUI Forge」で動かす（高速化も試してみました）

モデルをダウンロードする

　次にFlux.1モデルおよびVAEなどのダウンロードだ。こちらもすでにComfyUIなどでFlux.1を利用している場合は飛ばしてほしい。

　「「Stable Diffusion」開発者たちが新たな画像生成AI「FLUX.1」を発表　迷走するStability AIと対照的な展開に」にもあるように、Flux.1は性能と用途に応じて、「Pro」「Dev」「Schnell」3つのバリエーションが用意されている。

　このうち「Pro」はAPIのみでの提供となるので、今回も「Dev」と「Schnell」を試すことにする。

3つのモデル

　「Dev」と「Schnell」、両モデルとも23.8GBと大変に大きな容量だが、「量子化（Quantization）」と呼ばれる手法によってサイズを小さくしたものも配布されている。

　今回はもともと16ビット浮動小数点形式（FP16）で表現されているモデルの重みを8ビット浮動小数点数形式で表現した「FP8」と、lllyasviel氏が提唱する「NormalFloat」と呼ばれる特殊な形式で重みを4ビットで表現する「NF4」モデルを試してみることにする。

　両モデルはどちらも軽量化と高速化を目指した技術だがそのぶん精度の低下は避けられず、また、すべてのハードウェアやソフトウェアで最適に動作するわけではないようだ。

　今回はテストのために以下の6つのモデルをダウンロードしたが、読者が試す場合はもちろんすべてを入手する必要はない。迷った場合はlllyasviel氏イチオシの「Dev（NF4）」にしておこう。

バージョン	ファイル名	正確なサイズ	ダウンロードリンク
Dev（オリジナル）	flux1-dev.safetensors	23.8GB	ダウンロード
Dev（FP8）	flux1-dev-fp8.safetensors	17.2GB	ダウンロード
Dev（NF4）	flux1-dev-bnb-nf4-v2.safetensors	12GB	ダウンロード
Schnell（オリジナル）	flux1-schnell.safetensors	22.1 GB	ダウンロード
Schnell（FP8）	flux1-schnell-fp8.safetensors	11.9GB	ダウンロード
Schnell（NF4）	flux1-schnell-bnb-nf4.safetensors	11.5GB	ダウンロード

　さらに、FLUX.1モデルで使用されるCLIPやVAEなどの補助コンポーネントもダウンロードしておこう。「T5 XXL」はFP16、FP8どちらのバージョンでも構わないがFP16の方が精度が高い。

コンポーネント	ファイル名	正確なサイズ	ダウンロードリンク
CLIP (L)	clip_l.safetensors	234 MB	ダウンロード
T5 XXL (FP16)	t5xxl_fp16.safetensors	9.11 GB	ダウンロード
T5 XXL (FP8)	t5xxl_fp8_e4m3fn.safetensors	4.55 GB	ダウンロード
VAE	ae.safetensors	319 MB	ダウンロード

モデル等を配置したらいよいよ起動

　最後にダウンロードしたモデルとモジュールを適切な場所に配置しよう。「flux1-dev-bnb-nf4-v2.safetensors」などのモデルは「webui\models\Stable-diffusion」へ。VAEは「webui\models\VAE」へ。T5 XXLとCLIPは「webui\models\text_encoder」へそれぞれ配置、以上で準備は終了だ。

　Stable Diffusion WebUI Forgeを起動するには「run.bat」をダブルクリックする。初回起動時には時間がかかるのでのんびり待とう。また、エラーが出た場合はエラーメッセージをChatGPTやClaude.aiに突っ込んでなんとかしてもらおう。だいたいなんとかなります。