新清士の「メタバース・プレゼンス」 第53回

日本発の画像生成AIサービスがすごい　無料アップスケーラー「カクダイV1」

「カクダイV1」でアップスケールした画像（左）、「Midjouney v6」で作成したオリジナル画像（右）

　画像の描き込みを増やして高画質にする、日本発の生成アップスケーラー「カクダイV1」が2月7日に発表されて話題になりました。東大出身ベンチャーのMavericksが開発したもので、画像生成AI「Stable Diffusion」生成環境「ComfyUI」向けの技術として無料公開されています。人気アップスケーラー「Maginific AI」を超える製品にまでに成長していくのか注目です。

Stable Diffusionのアップスケールは難しかった

　カクダイを紹介する前に、まずは画像生成AIとアップスケーラーとの関係についてお話します。

　Stable Diffusion登場後の画像生成AI技術を使ったアップスケーラーは、単に画像を拡大させるだけの用途ではなくなりました。画像を拡大するとき、プロンプトなどと組み合わせて、元画像になかったディティールを追加することで、元の画像にはなかった新しい魅力をつけることができるようになっています。

A1111のHires.fix。最初から組み込まれているので使いやすいが、限界もある

　Stable Diffusionを使ったアップスケーラーとして最も一般的だったのは、生成環境「Stable Diffusion web UI A1111」の「Hires.fix（ハイレゾフィックス）」。これは、生成した画像にディティールを描き込みながら拡大するときは便利なのですが、1枚の画像を一気に大きなサイズへと再生成しようとするアプローチなので、弱点もありました。

　なによりVRAMを必要とする仕組みなので、ビデオカードのVRAMが少ないとエラーが出やすく、作業が完了できないことが増えます。2023年3月頃は、NVIDIA GeForce RTX 4090（VRAM 24GB）搭載機でも4Kサイズの出力ができなくなってしまうほど重いアプローチでした。そして、品質も十分とまでは言えるものでもありませんでした。

　その後、NVIDIAのドライバーなどの改善で出力自体はできるようにはなりましたが、いまだに動作が重い割には品質が足りないと感じられるアプローチであることには変わりません。

　その後、VRAMの搭載量が少ないビデオカードでもアップスケールができる方法として登場してきたのが2023年5月の「Tiled Diffusion（タイルド・ディフュージョン）」でした。これは指定したサイズで、元の画像をタイルのように分割し、1枚ずつ順番にアップスケールしていくことで高画質化するもの。1枚の画像から、複数枚の画像を再生成して最後に1枚に統合するという仕組みのため、生成には時間がかかるものの、VRAMが少ないビデオカードでも動く上、美しくアップスケールができるということで、広く普及しました。

A1111の「Tiled Diffusion」。「Tiled VAE」という機能と合わせて使う

　ただし、画像を分割して生成するため、パラメーターをうまく調整しないと、的確な画像が生成されません。分割された元画像とプロンプトを参照しながら画像を生成するのですが、「Denoising strength（ノイズ除去の強さ）」のパラメータを的確に設定しないと、期待通りの画像が出ないという弱点があります。これは元の画像からどれぐらい変化を許容するかというパラメータなのですが、デフォルトでは0.7になっており、生成時にはかなり画像が変わってしまいます。

　たとえば、「girl」といったプロンプトが設定されていると、それぞれのタイルに女の子が生成されてしまうという結果になります（笑）。0.25あたりの低めの数値に設定して調整するのがよいとされています。

　いまはTiled DiffusionがControlNetに対応したことで、ディティールアップ用の機能「Tile」と組み合わせるのが一般的になりました。元画像から大きく乖離することなく、ディティールを増やすことができます。

オリジナル画像（左）、Tiled Diffusionで2倍にアップスケールした画像（中央）、失敗画像（右）。失敗例はControlNetを使っていない。分割したタイルごとにプロンプトの影響を受けて多数のキャラクターが生まれてしまった

　ただし、やはりモデルの選択とパラメーター設定の選択とには相性があり、思ったような画像を出すにはそれなりに試行錯誤とノウハウが必要です。