Stable Diffusionと組み合わせると便利に
Adobe Fireflyは、Stable DiffusionやMidjourneyといった既存の画像生成AIとどうつながってくるのか。試してみた中では、両者ともに得意なところ、不得意なところがあるので、組み合わせると便利だなという感覚でした。
たとえば、先ほどのFireflyで拡張して作成した画像を、Stable Diffusionに持っていき、元の画像から別の画像を生成する「image2image(i2i)」に乗っけてしまえば、全体的な雰囲気を補正できます。「Tile」機能を使って、描き込みが足りないところを補填することもできます(Stable Diffusionのディテールアップ機能。詳しくは「画像生成AIに2度目の革命を起こした『ControlNet』」参照)。
実際にどんな画像ができるかというと、こういう3人のキャラクターが並んでいる画像が作れます。
これ、実はすべて背景画が別の4枚の画像を合成したものなんです。何をしたかというと、まず1枚目でAdobe Fireflyで背景だけの画像を生成します。残りの3枚からはキャラクターだけの画像を抽出します。そしてPhotoshop上で人物と背景をくっつける。それだけでは違和感があるので、影などを書き足し、最終的にもう一回Stable Diffusionに戻してi2iをしてなじませてやると、比較的自然な仕上がりになりました。
こういう使い方は今後増えるでしょう。i2iの機能はまだPhotoshopに搭載されていないので、Stable Diffusionのほうが得意かなという印象です。
Stable Diffusionでも「Firefly」的な機能が使えるように
ところで、5月29日に、ControlNetを開発したlllyasvielさんが、「inpaint」という機能を使い、完全ではないにせよAdobeFireflyと同じようなことを実現するアップデートを実施ました。わざと空白部分を使って、その部分を埋めるようにStableDiffusionに指示するとプロンプト(指示テキスト)なしでも、画像を埋めてくれるようになりました。
AdobeFireflyは「多段階サンプリング」という統計手法を用いて画像を生成しているようで、仕組み的にそれが入っていないStable Diffusionとは処理方法が違っています。
しかし、Stable Diffusionは画像を参照することで、生成過程の画像に影響を与えることができるため、その方法を応用して、空白の画像であっても、一定の結果を出すことに成功しているようです。たとえば、女の子の下半身を消してしまった状態で生成すると、下半身が追加されて出てくるんですね。
ただし、ここにも得意不得意は明確に出ていて、人物についてはStable Diffusionがきれいに出る傾向があるようです。
一方、人物を切り抜いて、背景だけを生成させた場合は、AdobeFireflyの方が圧倒的に自然に出ます。また、背景のみ生成すると、Stable Diffusionの場合、関係のないオブジェクトが出てきてしまいます。生成AIの手法により、生み出されるものの結果に差が出ているともいえます。やはり切り抜きについてはAdobe Fireflyの優秀さがよくわかります。
この連載の記事
-
第67回
AI
アドビの画像生成AI機能がまた進化 白黒3Dモデルがリアルな都市に -
第66回
AI
有名人そっくり、増え続けるAI音声 “声の権利”どう守る -
第65回
AI
画像生成AIに照明革命 日本と世界で同時に“神ツール”登場 -
第64回
AI
自分好みのAIチャット相手を簡単に作れる「Dify」が面白い -
第63回
AI
まるで“いけない話ができるChatGPT” ローカルAI「Command R+」の爆発的な可能性 -
第62回
AI
動画生成AI、映像制作の“民主化”目指して研究進む -
第61回
AI
画像生成AI“児童ポルノ”学習問題、日本では表現規制の議論にも -
第60回
AI
3Dアニメーション技術の革新が止まらない -
第59回
AI
政府、生成AI推進に向けて議論を加速 -
第58回
AI
画像生成AIで同じキャラクターが簡単に作れるようになってきた -
第57回
AI
日本発のリアルタイム画像生成AIサービスが熱い 大手にとっては“イノベーションのジレンマ”に - この連載の一覧へ