新清士の「メタバース・プレゼンス」 第70回

イラストのペン入れと色塗り、AI使えばわずか1分

2023年から進化してきた「コピー機LoRA」

　LoRAを下絵の線画化といった特定機能に絞って利用するという方法論は、2023年の夏に開発者の月須和・那々さんが発見した「コピー機LoRA学習法」による劇的な進歩がありました。

　一般的にはLoRAというと、20～50枚程度の似たような画像を学習させることで特定の絵柄を出せるようにする、追加学習方式のことを指します。しかし、コピー機LoRAの学習方法は異質です。まず、学習する画像を2枚に絞り、それぞれの1枚をLoRAとして1000回学習することで、極端な過学習を引き起こす2つのLoRAを作ります。そしてそれを1つのLoRAに結合すると、2枚の絵柄の違いが画像に反映されるという方法をとっています（※過学習＝オーバーフィッティングは、生成AIが学習したデータに過度に適合し、未知のデータに対する予測精度を低下させる現象）。

　例えば、同じ絵のカラー画像と白黒画像で「コピー機LoRA」を作成すれば、そのLoRAは画像を白黒化できる性質を持った特定機能LoRAになるというわけです。

　この方法が発見されたことで、特殊効果LoRAの開発が進みました。コピー機LoRAは学習時間が短いという利点もあります。従来式のLoRAの場合、NVIDIA RTX 4090環境でも、100回程度の学習に2～20時間かかりますが、コピー機LoRAは1000回のトレーニングでも枚数が少ないので30分程度で済みます。そもそも、特定機能を生み出すには、たくさんの枚数の学習画像を用意する必要がないというメリットもあります。

月須和・那々さんのnoteより

　月須和さんはこの技法を使い、様々な特殊機能LoRAの開発をしています。特に興味深いのが、画面の情報量をコントロールできる「Flat」。これをプラスにすると画面は平面な画像になり、マイナスにすると画面内への書き込みが増加します。copainterの着彩時にある「書き込み量」パラメーターは、Flatと類似のLoRAを使って制御していると考えられます。他にも、輪郭線を強調したり、目のサイズを変更したり、口の形を制御したり、全身を金色に変えたりと、20～30種類の様々な特殊効果LoRAを開発して、公開されています。

月須和・那々さんのFlat Loraを使い、i2iで画像の効果を試したところ。中央を元画像として、左が「-1」（情報が増える）、右が「+1」（情報が減る）

　コピー機LoRA学習法に関連して、とりにくさんが6月23日に発表したのが、「CoppyLora_webUI」（pixivFanboxで有償限定公開）。これはコピー機LoRA学習法を手軽に扱えるようにしたアプリです。このアプリを使うと、特殊機能LoRAや、その人の絵柄LoRAを手軽に作り出せます。ベースのモデル画像を加工したり、模写して学習させることで、そのLoRAに特定の性質を与えることができるのです。その人の絵のクセといったものも学習させることができるため、自分の画風を再現させるLoRAを生み出すこともできます。

CoppyLora_webUIの設定画面。参考画面（上）を筆者が模写したものをcopainterでペン入れして学習用のデータ（下）にした。下の画風を継承した線画LoRAが作れる

生成したLoraを使って、画像をランダムなプロンプトで生成してみたもの。筆者の用意した画像のクセがLoRAを通じて反映されている。特に、目や髪に出ている