新清士の「メタバース・プレゼンス」 第54回

画像生成AI、安いPCでも高速に　衝撃の「Stable Diffusion WebUI Forge」

Stable Diffusion Forgeを表示した様子。基本的な操作は既存のStable Diffusion WebUI AUTOMATIC1111とほぼ同じ

　画像生成AI「Stable Diffusion」用の新しいユーザーインターフェース「Forge」が2月6日に登場しました。開発したのは、これまで「Controlnet」や「Fooocus」などStable Diffusion関連の様々な重要技術を開発してきたillyasviel（イリヤスベル）さん。何よりインパクトが大きいのは、グラフィックボードのVRAM容量が小さい安価なPCでも最新版のStable Diffusion XL（SDXL）が動かせることです。

RTX 40シリーズが求められたSDXL

　SDXLは、2023年8月にStablity AIが発表した画像生成AI。高画質な出力ができる一方、コミュニティーサイトで話題になったのはSDXLが要求するスペックの高さでした。

　仕様では12GB以上、16GB以上のVRAMを持つグラフィックボードが推奨。NVIDIAで言えばGeForce RTX 4090、4070などが必要になり、最低でも12GBの3060が求められます。3060は単体でも4〜5万円するもので、事実上10万円程度のグラフィックボードを購入しないと満足に動かず、ハードルが高かったんです。

　そのため既存のStable Diffusion 1.5に比べるとユーザー数が増えず、ユーザー開発の技術も立ち遅れている傾向がありました。Forgeはそこを解消しようと開発されたんです。

SDXLは、Stable Diffusion 1.5に比べて、1024x1024の高解像度で生成可能なこと、色味の鮮やかさなど様々な改善がなされているが、その分、要求するビデオメモリは高い。使用モデルは、SDXL Yamer's Realistic 5（筆者作成）

VRAMが6GBのグラボでは60〜70％高速化

　具体的には、VRAM容量が6GBのグラフィックボードを使うと、60〜70％高速化します。また、使用時のピークメモリも大幅に減少するため、Hires.fixといったアップスケーラーを使った大きな画像生成も可能になります。4090環境だと高速化されるのは5％程度なので体感ではそれほど変わりませんが、ピークメモリが減少するなどのメリットがあります。そのため、Stable Diffusionを利用する多くのユーザーにメリットがある環境になりました。

Stable Diffusion WebUI A1111のディスカッションページ。オープンになっている議題だけで1800件以上ある。現在は、v1.8のリリースに向けての最終段階

　今、Stable Diffusionのインターフェースとして最も普及している「Stable Diffusion WebUI Automatic1111（以下、A1111）」は開発上の限界に直面しています。

　リリースされてから1年半の間に多くのアップデートがあった結果、プログラム自体が複雑化してメンテナンスの難易度が高まったためです。2023年12月にはv1.7のアップデートがあったんですが、その時点ですでにイシュー（改善課題）が1800件近くに上っていて、その数をさばくだけでも大変なものになっています。開発者のAutomatic1111さんやそれに協力する500名を超えるエンジニアも奮闘してはいるものの、どうしてもアップデートに時間がかかるようになってしまいました。そこで「Fooocus」の開発などで最適化のノウハウを持っているillyasvielさんが、A1111のメモリ部分を中心に最適化する形でForgeを開発したわけです。

　illyasvielさんは、開発意図を以下のように説明しています。

「ForgeはStable-Diffusion-WebUIの上に構築されたプラットフォームであり、開発スピードの高速化、開発の容易化を目的としています。（略）特に将来的にSDXLをベースにした研究がいくつか予定されている場合、ユーザーにスピードとパフォーマンスで失望してほしくないからです」（GitHubから）

　SDXLを使った学術・民間の研究も広がろうとしているなか、現状の環境がネックになっていることが感じられます。

　実際の操作感は、UI部分でA1111のコードを引き継いでいるため、まったく同じ。Illyasvielさんが開発したControlNetについては独自の新機能も追加されていますが、画面の違いもほとんどなく、これまでのA1111ユーザーなら迷うことなく使うことができます。