Stable Diffusion「ControlNet」IP-Adapterがベースか
![](/img/2024/03/23/3706260/l/ec9f0c8c6c361321.png)
IP-Adapterは、元の画像を参考の要素を抽出して、類似の画像を生み出す。元の画像は一番上で、二段目以降は、それぞれのモデルによる生成結果の違い。
(「IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion Models」より)
Creative Referenceのベースは、ControlNetの新技術。昨年10月にテンセントが開発・公開した「IP-Adapter」の機能を独自拡張したものではないかと推測されます。
もともとControlNetは画像をプロンプトとして利用可能にする技術ですが、IP-Adapterは、さらにタグ解析もして、その画像と解析後のテキストの両方をセットにして画像生成をするLatent(潜在)空間に送り込み、出力する画像の結果に影響を与えるという方法です。元画像全体の全体的な雰囲気に影響を与えられる点が画期的でした。
「Stable Diffusion WebUI」や「ComfyUI」といったStable Diffusionのユーザーインターフェースには、発表から早い段階でControlNetの機能の1つとして実装されました。
その後、顔のみに影響を与えるモデル、SDXL用のバージョンも登場して、広く使われています。WebUIでは使用しているチェックポイントのモデルの影響を大きく受けるため期待するほどそっくりはなってくれない傾向がありますが、かなり雰囲気は似てくれます。
一方で、ComfyUIでは、AnimateDiffで動画を作るときに、顔や服装に一貫性を保つためのテクニックとして使わることも多いですね。
*AIアニメ: ControlNet+IPAdapterテスト #AnimateDiff#ComfyUI#aiartpic.twitter.com/ffGZbCsC9x
— Baku (@bk_sakurai) October 5, 2023
画像生成AIサービスの「NovelAI」も、IP-Adapterとほぼ同様の機能を追加しています。
2月に新機能として実装された「バイブストランスファー」と呼ばれる機能で、ベースの画像に合わせて似た雰囲気の画像を生み出してくれるというものです。いい加減な画像を入れても、プロンプトとセットで何かの絵を生み出してくれるのは便利です。
現状、キャラだけに似せるといったことはできませんが、NovelAIにはi2iの機能があるため、特定のポーズをしたキャラクターを他の画風にするといったことが簡単にできます。
さらにNovelAIはマスクも使えるので、顔だけ囲って生成することもできます。画像が持っているニュアンスを適当に読み込んでくれるので便利です。プロンプト解析は入っていないので同じ系統のパターンを出しづらいという弱点はありますが、違った種類の画像が出せます。
![](/img/blank.gif)
この連載の記事
-
第69回
AI
“革命”起こした画像生成AIに暗雲 「Stable Diffusion 3 Medium」の厳しい船出 -
第68回
AI
AIが作る3Dモデルの完成度が上がってきた 毎回異なるモンスターが生成されるゲームも実現か -
第67回
AI
アドビの画像生成AI機能がまた進化 白黒3Dモデルがリアルな都市に -
第66回
AI
有名人そっくり、増え続けるAI音声 “声の権利”どう守る -
第65回
AI
画像生成AIに照明革命 日本と世界で同時に“神ツール”登場 -
第64回
AI
自分好みのAIチャット相手を簡単に作れる「Dify」が面白い -
第63回
AI
まるで“いけない話ができるChatGPT” ローカルAI「Command R+」の爆発的な可能性 -
第62回
AI
動画生成AI、映像制作の“民主化”目指して研究進む -
第61回
AI
画像生成AI“児童ポルノ”学習問題、日本では表現規制の議論にも -
第60回
AI
3Dアニメーション技術の革新が止まらない -
第59回
AI
政府、生成AI推進に向けて議論を加速 - この連載の一覧へ