日本では漫画向けの陰影付けができる「AI-Assistant」登場
そして興味深いのは、ほぼ同じタイミングで、日本の開発者を中心に、照明に関連する画像生成AIの開発が進められていたことです。イノベーションが進んでいる最中には、まったく違う経緯で類似する技術が開発されていることがありますが、まさにそのような状況がこの分野でも起きました。とりにくさんが開発しているお絵描き補助AIアプリ「AI-Assistant」というアプリです。
AI-Assistantは、IC-Lightとは異なり、1枚の線画からマンガに使えるような「アニメ風の塗り」を実現する画像を作ることを目的としていたもの。画像生成AIはランダムで画像を生成するため、毎回意図しなかった塗りやライト位置で画像が生成されることになります。これを制作者の意図通りにコントロールできないかということが狙いでした。
方法としては、画像生成AIに色がついた画像の状態で元画像を入力し、それをControlNetのひとつ「Canny」で線画化して、白黒画像を出します。それを着彩し、ノーマルマップの画像にすることで、照明効果をつけられる画像にします。そして、これをライティング設定と合わせると、アニメ塗り風の白黒画像が得られるようになるというものです。
AI-Assistantができるまでにはいくつかの経緯がありました。まず、とりにくさんは4月に、線画からノーマルマップを生成し、照明処理を施した画像を生成できる「Line2Normalmap」を開発します。
線画から疑似3D画像を出力するアプリ『Line2Normalmap』&それをライティングするアプリ『NormalmapLighting』公開!|とりにく @tori29umai#notehttps://t.co/mxYY5Vqk6Y
— とりにく (@tori29umai) April 5, 2024
おかげ様でフリー公開!インストール簡単なAIアプリです!CUDA対応のPCなら動きます。 pic.twitter.com/825kgNmiMw
さらにその後、かたらぎさんが作った、白黒線に着彩するControlNet「ControlNet-LineartXL」を応用し、線画からの画像出力の精度を引き上げることに成功。それをとりにくさんがアプリに組み込み、線画とノーマルマップとライト情報を組み合わせることで、最終的なマンガ的な画像の出力を可能とするAI-Assistantが誕生したというわけです。
ControlNet lineartXLをhuggingfaceにて公開しました!
— かたらぎ (@redraw_0) May 11, 2024
画像は手描き線画→色塗り(上)と私が教則本を見て塗った絵→Lineartで再生成(右)したものになります。
↓こちらから一般向け用フルサイズ(2.5GB)とAnimagineXL3.1専用のLoRAバージョン(400MB)をDLできます。https://t.co/zqoNNxLpzmpic.twitter.com/9ItjQYkOPv
ノーマルマップは、オブジェクトの表面の凸凹をシミュレートするため、各ピクセルに法線ベクトルの方向を割り当てる技法。最初は3D映像でレンダリングする技法でしたが、ControlNetの登場時、ディフュージョンモデルを使ってトレーニングする方法が開発されました。この手法の大きなメリットは、ノーマルマップのデータを参照することで、光源の位置を自由に変えられること。AI-Assistantでは、光源位置を自由に変更し、それを反映した漫画風の画像を生成することができます。
とりにくさんはこうしたツールを作り、漫画を描く人にサポートする技術を提案しています。5月27日にはAI-AssistantV2の一般公開が始まり、線画への忠実度がアップしたり、影の種類が増加するなど、様々な機能強化がなされています。
![](/img/blank.gif)
この連載の記事
-
第69回
AI
“革命”起こした画像生成AIに暗雲 「Stable Diffusion 3 Medium」の厳しい船出 -
第68回
AI
AIが作る3Dモデルの完成度が上がってきた 毎回異なるモンスターが生成されるゲームも実現か -
第67回
AI
アドビの画像生成AI機能がまた進化 白黒3Dモデルがリアルな都市に -
第66回
AI
有名人そっくり、増え続けるAI音声 “声の権利”どう守る -
第64回
AI
自分好みのAIチャット相手を簡単に作れる「Dify」が面白い -
第63回
AI
まるで“いけない話ができるChatGPT” ローカルAI「Command R+」の爆発的な可能性 -
第62回
AI
動画生成AI、映像制作の“民主化”目指して研究進む -
第61回
AI
画像生成AI“児童ポルノ”学習問題、日本では表現規制の議論にも -
第60回
AI
3Dアニメーション技術の革新が止まらない -
第59回
AI
政府、生成AI推進に向けて議論を加速 - この連載の一覧へ