新清士の「メタバース・プレゼンス」 第65回

画像生成AIに照明革命　日本と世界で同時に“神ツール”登場

日本では漫画向けの陰影付けができる「AI-Assistant」登場

AI-Assistantの画面。ノーマルマップが作成できれば、ライトの方向は任意に指定することができる

　そして興味深いのは、ほぼ同じタイミングで、日本の開発者を中心に、照明に関連する画像生成AIの開発が進められていたことです。イノベーションが進んでいる最中には、まったく違う経緯で類似する技術が開発されていることがありますが、まさにそのような状況がこの分野でも起きました。とりにくさんが開発しているお絵描き補助AIアプリ「AI-Assistant」というアプリです。

　AI-Assistantは、IC-Lightとは異なり、1枚の線画からマンガに使えるような「アニメ風の塗り」を実現する画像を作ることを目的としていたもの。画像生成AIはランダムで画像を生成するため、毎回意図しなかった塗りやライト位置で画像が生成されることになります。これを制作者の意図通りにコントロールできないかということが狙いでした。

　方法としては、画像生成AIに色がついた画像の状態で元画像を入力し、それをControlNetのひとつ「Canny」で線画化して、白黒画像を出します。それを着彩し、ノーマルマップの画像にすることで、照明効果をつけられる画像にします。そして、これをライティング設定と合わせると、アニメ塗り風の白黒画像が得られるようになるというものです。

　AI-Assistantができるまでにはいくつかの経緯がありました。まず、とりにくさんは4月に、線画からノーマルマップを生成し、照明処理を施した画像を生成できる「Line2Normalmap」を開発します。

線画から疑似3D画像を出力するアプリ『Line2Normalmap』&それをライティングするアプリ『NormalmapLighting』公開！｜とりにく @tori29umai#notehttps://t.co/mxYY5Vqk6Y
おかげ様でフリー公開！インストール簡単なAIアプリです！CUDA対応のPCなら動きます。 pic.twitter.com/825kgNmiMw

— とりにく (@tori29umai) April 5, 2024

　さらにその後、かたらぎさんが作った、白黒線に着彩するControlNet「ControlNet-LineartXL」を応用し、線画からの画像出力の精度を引き上げることに成功。それをとりにくさんがアプリに組み込み、線画とノーマルマップとライト情報を組み合わせることで、最終的なマンガ的な画像の出力を可能とするAI-Assistantが誕生したというわけです。

ControlNet lineartXLをhuggingfaceにて公開しました！
画像は手描き線画→色塗り(上)と私が教則本を見て塗った絵→Lineartで再生成(右)したものになります。

↓こちらから一般向け用フルサイズ(2.5GB)とAnimagineXL3.1専用のLoRAバージョン(400MB)をDLできます。https://t.co/zqoNNxLpzmpic.twitter.com/9ItjQYkOPv

— かたらぎ (@redraw_0) May 11, 2024

　ノーマルマップは、オブジェクトの表面の凸凹をシミュレートするため、各ピクセルに法線ベクトルの方向を割り当てる技法。最初は3D映像でレンダリングする技法でしたが、ControlNetの登場時、ディフュージョンモデルを使ってトレーニングする方法が開発されました。この手法の大きなメリットは、ノーマルマップのデータを参照することで、光源の位置を自由に変えられること。AI-Assistantでは、光源位置を自由に変更し、それを反映した漫画風の画像を生成することができます。

AI-Assistantの一連の工程。左から、元の写真風の画像を、線画化、ノーマルマップ化、ライティング設定を行い、最終出力の白黒漫画風に

　とりにくさんはこうしたツールを作り、漫画を描く人にサポートする技術を提案しています。5月27日にはAI-AssistantV2の一般公開が始まり、線画への忠実度がアップしたり、影の種類が増加するなど、様々な機能強化がなされています。

AI-AssistantV2で追加されたリサイズ機能で1600x1600のサイズにしたもの