新清士の「メタバース・プレゼンス」 第53回

日本発の画像生成AIサービスがすごい　無料アップスケーラー「カクダイV1」

無料でMaginific.AIとほぼ同じことができる「カクダイV1」

オリジナル画像画像（左）、カクダイV1で4倍にアップスケールした画像（右）。猫の顔はもうちょっとだが、女の子の肌や髪、服のディティールが美しくなっている

　カクダイV1では、Maginific AIと同様のことができる環境をComfyUI向けに無料公開しています。ComfyUIはノードベースの「ワークフロー」と呼ばれるスクリプトによって制御され、どのような仕組みでカクダイV1が動作しているのかを見ることができます。

　Marvericsでは、使用環境としてグーグルのクラウド環境「Google Colab」向けのノートブック（有償）、ローカルPC向けの環境を紹介しています。またGPT-4VのAPIを利用して画像のプロンプトを解析するため、OpenAIに有償登録してAPI Keyを取得しておくことが必要になります（ない状態でも動作可能です）。

　筆者はローカルPC向け環境の構築に挑戦したのですが、カスタムノードのインストールに詰まって動作させられなかったため、Google Colabで検証しました。

Google ColabでカクダイV1のワークフローを展開した状態

　カクダイV1は、すでに公開されている技術をうまく組み合わせて、Magnific AIに近いことを実現しようというやり方を取っています。Mavericksが公開したnoteによると、生成は5つのステップに分かれています。

1. GPT-4Vで画像を解析してプロンプトを作成
2. 2023年12月に発表されたStable Diffusionベースの新しいアップスケーラー技法「CCSR」を使い、画像を高解像度化（ディフォルト設定では4倍）
3. 拡大した画像を複数のタイルに分割し、ControlNetやLoRA（Tile）でi2iを実行
4. 「Multi Diffusion」でさらにアップスケール
5. カラーマッチ手法で色味を整える

　推奨サイズは400x400ピクセル以下とされていますが、大きなサイズでも生成できます。Google Colabで検証したところ、Stable Diffusionの基本単位である512x512ピクセルで試した生成時間は6分程度。4倍がデフォルトということもあり時間がかかります。大きな画像サイズだと10～15分程度です。

　同じ画像でMaginific AIと比べてみたところ、カクダイV1が得意なものと、そうでないものもありそうだと感じました。人物などは元の画像を再現しながらディティールを追加してくれます。一方、自然物は、形状次第ですが、解釈が元画像から変わった部分もありました。

　同じ画像をMaginific AIでアップスケールした場合、独自解釈が増える部分があるものの、情報量が増えることできれいに見えてしまうという傾向もあり、生成品質だけで言えば、カクダイV1はMagnific AIに迫っている部分もあると感じました。

Midjouney v6で生成した画像（右、928x1232）、カクダイV1でアップスケールした画像（左、3712x4928）。ただし、元画像が大きいため、生成かかった時間は約30分

顔の一部をアップにしたもの。カクダイV1（左）は唇や瞳のディティールが生成されていることがわかる。一方で、オリジナル画像（右）はこれ以上拡大するとドット感が目立ちはじめる

カクダイV1（左）、Magnific AI（中央＝2倍）、オリジナル画像（右）。Magnific AIは、パラメータ次第だが、デザインが独自解釈で形状が変わりやすい。頬の模様などの変化が出ている

Midjouney v6のオリジナル画像（右）、カクダイV1（左）。細かい葉っぱや花などの解釈が少し変わっている

中央部分のアップ。オリジナル画像（右）に比べ、カクダイV1（左）はディティールが飛んでいるようにも見える。土のニュアンスが少し変わっている

カクダイV1（左）、Magnific AI（右）。Magnific AIは葉っぱや花はうまく出ているようにみえるが、中央部の小道が完全に生成されていて、元画像と比べてニュアンスが変わっている

カクダイV1（左）、Stalbe DiffusionのTiled Diffusion（右）。Tiled Diffusionは画面全体がぼやけてしまい、かなりパラメータを詰めないといい形に出ない

　カクダイV1にも「Denoise」や「ControlNet Strength」といったパラメータ設定があり、時間を掛けて試行錯誤をすると最適な設定が見つかってくるかもしれないとは感じました。ただし、Midjouney v6の基本サイズが大きい画像をアップスケールする場合は生成にかなり時間がかかるので、普段利用をしていく場合にはそこが課題になりそうです。