新清士の「メタバース・プレゼンス」 第26回

Photoshopの画像生成AIがすごい　ついに商用利用もスタートへ

Stable Diffusionと組み合わせると便利に

　Adobe Fireflyは、Stable DiffusionやMidjourneyといった既存の画像生成AIとどうつながってくるのか。試してみた中では、両者ともに得意なところ、不得意なところがあるので、組み合わせると便利だなという感覚でした。

　たとえば、先ほどのFireflyで拡張して作成した画像を、Stable Diffusionに持っていき、元の画像から別の画像を生成する「image2image（i2i）」に乗っけてしまえば、全体的な雰囲気を補正できます。「Tile」機能を使って、描き込みが足りないところを補填することもできます（Stable Diffusionのディテールアップ機能。詳しくは「画像生成AIに2度目の革命を起こした『ControlNet』」参照）。

　実際にどんな画像ができるかというと、こういう3人のキャラクターが並んでいる画像が作れます。

女の子を追加で2人出力し、Photoshopで「被写体を選択」機能を使いキャラクターだけを抽出、背景画に合成を行った後に、Stable Diffusionのi2iとTileを使ってアメコミ風の画風に統一する形に生成したもの

　これ、実はすべて背景画が別の4枚の画像を合成したものなんです。何をしたかというと、まず1枚目でAdobe Fireflyで背景だけの画像を生成します。残りの3枚からはキャラクターだけの画像を抽出します。そしてPhotoshop上で人物と背景をくっつける。それだけでは違和感があるので、影などを書き足し、最終的にもう一回Stable Diffusionに戻してi2iをしてなじませてやると、比較的自然な仕上がりになりました。

　こういう使い方は今後増えるでしょう。i2iの機能はまだPhotoshopに搭載されていないので、Stable Diffusionのほうが得意かなという印象です。

Stable Diffusionでも「Firefly」的な機能が使えるように

　ところで、5月29日に、ControlNetを開発したlllyasvielさんが、「inpaint」という機能を使い、完全ではないにせよAdobeFireflyと同じようなことを実現するアップデートを実施ました。わざと空白部分を使って、その部分を埋めるようにStableDiffusionに指示するとプロンプト（指示テキスト）なしでも、画像を埋めてくれるようになりました。

　AdobeFireflyは「多段階サンプリング」という統計手法を用いて画像を生成しているようで、仕組み的にそれが入っていないStable Diffusionとは処理方法が違っています。

　しかし、Stable Diffusionは画像を参照することで、生成過程の画像に影響を与えることができるため、その方法を応用して、空白の画像であっても、一定の結果を出すことに成功しているようです。たとえば、女の子の下半身を消してしまった状態で生成すると、下半身が追加されて出てくるんですね。

　ただし、ここにも得意不得意は明確に出ていて、人物についてはStable Diffusionがきれいに出る傾向があるようです。

元画像（左）では意図的に下半分の画面を削除した。中央が、Adobe Fireflyの「ジェネレーティブ塗りつぶし」、右がStable DiffusionのControlNet inpaintを使った結果

　一方、人物を切り抜いて、背景だけを生成させた場合は、AdobeFireflyの方が圧倒的に自然に出ます。また、背景のみ生成すると、Stable Diffusionの場合、関係のないオブジェクトが出てきてしまいます。生成AIの手法により、生み出されるものの結果に差が出ているともいえます。やはり切り抜きについてはAdobe Fireflyの優秀さがよくわかります。

元画像（左）から、Adobe Fireflyでキャラクターを選択し「ジェネレーティブ塗りつぶし」をした結果（中央）、Stable DiffusionのControlNet inpaintの結果（右）