新清士の「メタバース・プレゼンス」 第120回

ラフさえ描けばイラスト作品ほぼ完成　画像生成AI「FLUX.1 Kontext」LoRAが示す制作の未来

ラフから線画を起こすLoRAを作る

　筆者も実際にFlux Kontext用のLoRAを作成してみました。Flux Kontextはもともと画風のコントロールが強く、プロンプトによる指示だけで線画抽出が可能です。しかし、出てくる画像にばらつきが出るため、LoRAで制御を厳密にできるのです。

　試してみたのは、筆者のように普段絵を描かない人間がラフで描いた下手な画像を、うまく清書してくれる「清書LoRA」です。さらに、その線画に近未来的な雰囲気を付与する光沢感の強い着彩をする「テカテカLoRA」です。その2つのLoRAによって、ラフさえ描いてしまえば、一気に着彩までしてくれるようなワークフローを作れないかと考えました。

　筆者のラフ画像と完成画像のペアは、以前にAI系プラグインを入れたイラストツール「Krita AI Diffusion」で作成したとき、画像生成AIモデル「Stable Diffusion 1.5」で作成した画像を利用しました（参考：「これが無料でいいのか!? “爆速生成AI”がペイントソフトに革命を起こした」）。実は、この作成過程でミスをして、AI Toolkitの設定の順序を逆に選んでしまいました。そのLoRAは、どんな線画画像でも、筆者の下手なラフ風画像にしてしまう「筆者ラフ画LoRA」になってしまったのです。しかし、逆にこのLoRAは使えると考えました。Midjourneyの結果を“筆者ラフ画風”に変換し、それらをペアとすることで、より品質の高いLoRAが作れると考えたわけです。

　学習には、グラフィックスに「NVIDIA RTX 4090」を搭載したローカルPCで、30組2500ステップで、3時間半ほどかかりました。設定時には同じ名称のペアのターゲット画像を「Dataset」、インプット画像を「Control Dataset」に置くことが必要でした。「筆者ラフ画LoRA」作成時には、逆に置いていました。

Midjourneyで作成した画像（上）、「筆者ラフ画LoRA」を使って生成した画像（下）。実際は筆者はここまでもうまくない。これらを30枚のペアを作成し、「清書LoRA」の学習データにした

「AI TookKit」設定画面。Datasetの設定以外に、画像は1024x1024で用意したが、メモリをあふれてしまったので768に下げている。また、Sample生成を止めておくことも必要だった（「Skip First Sample」と「Disable Sampling」をオン）

　果たしてその予測は的中し、「清書LoRA」は、筆者のガタガタなラフ画像を入力しても、整理した線として出力してくれました。さらに副産物として、カラーの画像を入力しても、線画として出力してくれたのです。