新清士の「メタバース・プレゼンス」 第69回

“革命”起こした画像生成AIに暗雲　「Stable Diffusion 3 Medium」の厳しい船出

「芝生の上で横になっている」指示ができない？　品質に暗雲

SD3Mで人体が的確に作れないことを指摘するRedditのスレッドより。大きく話題になった

　一方で、リリースから1日目で、RedditでSD3Mについての奇妙な報告が相次ぎました。「芝生の上に横になっている」という単純な指示の画像が、まともに生成できないというのです。

　SD3Mを触りはじめて確かに違和感はありました。SDXLよりも破綻した人体が生成されることが多い印象がしたのです。検証もしてみましたが、実写風の画像にしても、腕が消えていたり、指がくっついていたり、足が複数生えていたりと、体が破綻している画像がよく出ました。人物の顔やライティングはクオリティーが高いのですが、人物の生成に問題があるというのは間違いないようです。

　やはり同じ条件で生成してみようということで、少しだけ工夫して「芝生の上に座っている女性」としてみました。脚と手が交差する構図は、オブジェクト同士の干渉があるために、生成AIは苦手とするものであるので、より顕著に特徴が出ると考えました。SD3M、DALL·E 3（ChatGPT）、Midjouney、Nijijounery、Novel AIで行った結果、SD3Mは不自然に身体が破綻する頻度が高い印象がします。

SD3Mで生成した「芝生の上に座っている女性」。手や足が不自然な形で出る頻度が多く、正しく出ることはまれ

同じプロンプトでのDALL·E 3（左上）、Midjouney（右上）、Nijijounery（左下）、Novel AI（右下）。Midjouneyの精度が高い

　最後に、APIを使って、有料のSD3Lを試してみました。公式サイトを利用しています。完全ではないのですが、破綻する割合は低いことが確認できました。

SD3Lでの同じプロンプトの結果。たまに脚がおかしく出たり、画面外に置かれることも多いが、それでも通常は体が破綻しない

　つまり、SD3Mはオープン化して公開するために、機能を制限して公開したと考えられます。もちろんポルノ画像などを生成しにくいようにしているのだろうとは推測できます。しかしそれ以上に、SD3Mを極端にデータサイズが小さくしたことで大きな副作用があらわれているのではないでしょうか。

　この実情がわかってくると、ユーザーの間ではSD3Mに対する失望が広がりました。SD3Mのそのままでは性能には限界があることがはっきりしてきました。ユーザーがファインチューニングしたモデルやLoRAを開発することなしに、SDM3の性能を引き上げることは難しいと考えられます。SDXLはリリースから10ヵ月で、コミュニティーの成長もあり、高性能なチェックポイントやControlNet（制御ツール）など、豊富な環境が整いはじめてきています。急いでSDXLからSDM3に移行すべき理由がユーザーには見えないのです。