画像の描き込みを増やして高画質にする、日本発の生成アップスケーラー「カクダイV1」が2月7日に発表されて話題になりました。東大出身ベンチャーのMavericksが開発したもので、画像生成AI「Stable Diffusion」生成環境「ComfyUI」向けの技術として無料公開されています。人気アップスケーラー「Maginific AI」を超える製品にまでに成長していくのか注目です。
Stable Diffusionのアップスケールは難しかった
カクダイを紹介する前に、まずは画像生成AIとアップスケーラーとの関係についてお話します。
Stable Diffusion登場後の画像生成AI技術を使ったアップスケーラーは、単に画像を拡大させるだけの用途ではなくなりました。画像を拡大するとき、プロンプトなどと組み合わせて、元画像になかったディティールを追加することで、元の画像にはなかった新しい魅力をつけることができるようになっています。
Stable Diffusionを使ったアップスケーラーとして最も一般的だったのは、生成環境「Stable Diffusion web UI A1111」の「Hires.fix(ハイレゾフィックス)」。これは、生成した画像にディティールを描き込みながら拡大するときは便利なのですが、1枚の画像を一気に大きなサイズへと再生成しようとするアプローチなので、弱点もありました。
なによりVRAMを必要とする仕組みなので、ビデオカードのVRAMが少ないとエラーが出やすく、作業が完了できないことが増えます。2023年3月頃は、NVIDIA GeForce RTX 4090(VRAM 24GB)搭載機でも4Kサイズの出力ができなくなってしまうほど重いアプローチでした。そして、品質も十分とまでは言えるものでもありませんでした。
その後、NVIDIAのドライバーなどの改善で出力自体はできるようにはなりましたが、いまだに動作が重い割には品質が足りないと感じられるアプローチであることには変わりません。
その後、VRAMの搭載量が少ないビデオカードでもアップスケールができる方法として登場してきたのが2023年5月の「Tiled Diffusion(タイルド・ディフュージョン)」でした。これは指定したサイズで、元の画像をタイルのように分割し、1枚ずつ順番にアップスケールしていくことで高画質化するもの。1枚の画像から、複数枚の画像を再生成して最後に1枚に統合するという仕組みのため、生成には時間がかかるものの、VRAMが少ないビデオカードでも動く上、美しくアップスケールができるということで、広く普及しました。
ただし、画像を分割して生成するため、パラメーターをうまく調整しないと、的確な画像が生成されません。分割された元画像とプロンプトを参照しながら画像を生成するのですが、「Denoising strength(ノイズ除去の強さ)」のパラメータを的確に設定しないと、期待通りの画像が出ないという弱点があります。これは元の画像からどれぐらい変化を許容するかというパラメータなのですが、デフォルトでは0.7になっており、生成時にはかなり画像が変わってしまいます。
たとえば、「girl」といったプロンプトが設定されていると、それぞれのタイルに女の子が生成されてしまうという結果になります(笑)。0.25あたりの低めの数値に設定して調整するのがよいとされています。
いまはTiled DiffusionがControlNetに対応したことで、ディティールアップ用の機能「Tile」と組み合わせるのが一般的になりました。元画像から大きく乖離することなく、ディティールを増やすことができます。
ただし、やはりモデルの選択とパラメーター設定の選択とには相性があり、思ったような画像を出すにはそれなりに試行錯誤とノウハウが必要です。
この連載の記事
-
第62回
AI
動画生成AI、映像制作の“民主化”目指して研究進む -
第61回
AI
画像生成AI“児童ポルノ”学習問題、日本では表現規制の議論にも -
第60回
AI
3Dアニメーション技術の革新が止まらない -
第59回
AI
政府、生成AI推進に向けて議論を加速 -
第58回
AI
画像生成AIで同じキャラクターが簡単に作れるようになってきた -
第57回
AI
日本発のリアルタイム画像生成AIサービスが熱い 大手にとっては“イノベーションのジレンマ”に -
第56回
AI
画像生成AIの著作権問題、文化庁議論で争点はっきり -
第55回
AI
動画生成AIの常識を破壊した OpenAI「Sora」の衝撃 -
第54回
AI
画像生成AI、安いPCでも高速に 衝撃の「Stable Diffusion WebUI Forge」 -
第52回
AI
美少女イラスト、AI技術で立体化 ポケットサイズの裸眼立体視ディスプレーが人気に - この連載の一覧へ