Stable Diffusion入門 from Thailand 第20回
話題の画像生成AI「FLUX.1」をStable Diffusion用の「WebUI Forge」で動かす(高速化も試してみました)
2024年08月18日 17時00分更新
モデルをダウンロードする
次にFlux.1モデルおよびVAEなどのダウンロードだ。こちらもすでにComfyUIなどでFlux.1を利用している場合は飛ばしてほしい。
「「Stable Diffusion」開発者たちが新たな画像生成AI「FLUX.1」を発表 迷走するStability AIと対照的な展開に」にもあるように、Flux.1は性能と用途に応じて、「Pro」「Dev」「Schnell」3つのバリエーションが用意されている。
このうち「Pro」はAPIのみでの提供となるので、今回も「Dev」と「Schnell」を試すことにする。
「Dev」と「Schnell」、両モデルとも23.8GBと大変に大きな容量だが、「量子化(Quantization)」と呼ばれる手法によってサイズを小さくしたものも配布されている。
今回はもともと16ビット浮動小数点形式(FP16)で表現されているモデルの重みを8ビット浮動小数点数形式で表現した「FP8」と、lllyasviel氏が提唱する「NormalFloat」と呼ばれる特殊な形式で重みを4ビットで表現する「NF4」モデルを試してみることにする。
両モデルはどちらも軽量化と高速化を目指した技術だがそのぶん精度の低下は避けられず、また、すべてのハードウェアやソフトウェアで最適に動作するわけではないようだ。
今回はテストのために以下の6つのモデルをダウンロードしたが、読者が試す場合はもちろんすべてを入手する必要はない。迷った場合はlllyasviel氏イチオシの「Dev(NF4)」にしておこう。
バージョン | ファイル名 | 正確なサイズ | ダウンロードリンク |
---|---|---|---|
Dev(オリジナル) | flux1-dev.safetensors | 23.8GB | ダウンロード |
Dev(FP8) | flux1-dev-fp8.safetensors | 17.2GB | ダウンロード |
Dev(NF4) | flux1-dev-bnb-nf4-v2.safetensors | 12GB | ダウンロード |
Schnell(オリジナル) | flux1-schnell.safetensors | 22.1 GB | ダウンロード |
Schnell(FP8) | flux1-schnell-fp8.safetensors | 11.9GB | ダウンロード |
Schnell(NF4) | flux1-schnell-bnb-nf4.safetensors | 11.5GB | ダウンロード |
さらに、FLUX.1モデルで使用されるCLIPやVAEなどの補助コンポーネントもダウンロードしておこう。「T5 XXL」はFP16、FP8どちらのバージョンでも構わないがFP16の方が精度が高い。
コンポーネント | ファイル名 | 正確なサイズ | ダウンロードリンク |
---|---|---|---|
CLIP (L) | clip_l.safetensors | 234 MB | ダウンロード |
T5 XXL (FP16) | t5xxl_fp16.safetensors | 9.11 GB | ダウンロード |
T5 XXL (FP8) | t5xxl_fp8_e4m3fn.safetensors | 4.55 GB | ダウンロード |
VAE | ae.safetensors | 319 MB | ダウンロード |
モデル等を配置したらいよいよ起動
最後にダウンロードしたモデルとモジュールを適切な場所に配置しよう。「flux1-dev-bnb-nf4-v2.safetensors」などのモデルは「webui\models\Stable-diffusion」へ。VAEは「webui\models\VAE」へ。T5 XXLとCLIPは「webui\models\text_encoder」へそれぞれ配置、以上で準備は終了だ。
Stable Diffusion WebUI Forgeを起動するには「run.bat」をダブルクリックする。初回起動時には時間がかかるのでのんびり待とう。また、エラーが出た場合はエラーメッセージをChatGPTやClaude.aiに突っ込んでなんとかしてもらおう。だいたいなんとかなります。
![](/img/blank.gif)
この連載の記事
-
第19回
AI
画像生成AI「Stable Diffusion」の代替に? 話題の「FLUX.1」を試した -
第18回
AI
イラストを完成させる動画はAIで作れるのか「Paints-Undo」試してみた -
第17回
AI
人気の画像生成AI、違いは? Stable Diffusion XL、Midjourney、DALL-E、Playgroundの画風を比較する -
第16回
AI
画像生成AI「Midjourney」の使い方 画風やキャラクターを固定する「スタイルリファレンス」「キャラクターリファレンス」はこう使う -
第15回
AI
画像生成AI「Midjourney」の使い方 思いどおりの絵を出すための「パラメーター」まとめ【最新版】 -
第14回
AI
画像生成AI「Midjourney」の使い方 ユーザー登録から最新機能まで【最新版】 -
第13回
AI
Macで始める画像生成AI 「Stable Diffusion」ComfyUIの使い方 -
第12回
AI
これは便利!「Stable Diffusion」が超簡単に始められる「Stability Matrix」 -
第11回
AI
画像生成AI「Stable Diffusion」使うなら「ComfyUI」のワークフローが便利です -
第10回
AI
画像生成AI「Stable Diffusion」使い倒すならコレ! 「ComfyUI」基本の使い方 - この連載の一覧へ