このページの本文へ

新清士の「メタバース・プレゼンス」 第26回

Photoshopの画像生成AIがすごい ついに商用利用もスタートへ

2023年06月12日 07時00分更新

文● 新清士 編集●ASCII

  • この記事をはてなブックマークに追加
  • 本文印刷

Stable Diffusionと組み合わせると便利に

 Adobe Fireflyは、Stable DiffusionやMidjourneyといった既存の画像生成AIとどうつながってくるのか。試してみた中では、両者ともに得意なところ、不得意なところがあるので、組み合わせると便利だなという感覚でした。

 たとえば、先ほどのFireflyで拡張して作成した画像を、Stable Diffusionに持っていき、元の画像から別の画像を生成する「image2image(i2i)」に乗っけてしまえば、全体的な雰囲気を補正できます。「Tile」機能を使って、描き込みが足りないところを補填することもできます(Stable Diffusionのディテールアップ機能。詳しくは「画像生成AIに2度目の革命を起こした『ControlNet』」参照)。

 実際にどんな画像ができるかというと、こういう3人のキャラクターが並んでいる画像が作れます。

女の子を追加で2人出力し、Photoshopで「被写体を選択」機能を使いキャラクターだけを抽出、背景画に合成を行った後に、Stable Diffusionのi2iとTileを使ってアメコミ風の画風に統一する形に生成したもの

 これ、実はすべて背景画が別の4枚の画像を合成したものなんです。何をしたかというと、まず1枚目でAdobe Fireflyで背景だけの画像を生成します。残りの3枚からはキャラクターだけの画像を抽出します。そしてPhotoshop上で人物と背景をくっつける。それだけでは違和感があるので、影などを書き足し、最終的にもう一回Stable Diffusionに戻してi2iをしてなじませてやると、比較的自然な仕上がりになりました。

 こういう使い方は今後増えるでしょう。i2iの機能はまだPhotoshopに搭載されていないので、Stable Diffusionのほうが得意かなという印象です。

Stable Diffusionでも「Firefly」的な機能が使えるように

 ところで、5月29日に、ControlNetを開発したlllyasvielさんが、「inpaint」という機能を使い、完全ではないにせよAdobeFireflyと同じようなことを実現するアップデートを実施ました。わざと空白部分を使って、その部分を埋めるようにStableDiffusionに指示するとプロンプト(指示テキスト)なしでも、画像を埋めてくれるようになりました。

 AdobeFireflyは「多段階サンプリング」という統計手法を用いて画像を生成しているようで、仕組み的にそれが入っていないStable Diffusionとは処理方法が違っています。

 しかし、Stable Diffusionは画像を参照することで、生成過程の画像に影響を与えることができるため、その方法を応用して、空白の画像であっても、一定の結果を出すことに成功しているようです。たとえば、女の子の下半身を消してしまった状態で生成すると、下半身が追加されて出てくるんですね。

 ただし、ここにも得意不得意は明確に出ていて、人物についてはStable Diffusionがきれいに出る傾向があるようです。

元画像(左)では意図的に下半分の画面を削除した。中央が、Adobe Fireflyの「ジェネレーティブ塗りつぶし」、右がStable DiffusionのControlNet inpaintを使った結果

 一方、人物を切り抜いて、背景だけを生成させた場合は、AdobeFireflyの方が圧倒的に自然に出ます。また、背景のみ生成すると、Stable Diffusionの場合、関係のないオブジェクトが出てきてしまいます。生成AIの手法により、生み出されるものの結果に差が出ているともいえます。やはり切り抜きについてはAdobe Fireflyの優秀さがよくわかります。

元画像(左)から、Adobe Fireflyでキャラクターを選択し「ジェネレーティブ塗りつぶし」をした結果(中央)、Stable DiffusionのControlNet inpaintの結果(右)

カテゴリートップへ

この連載の記事
ピックアップ