5月8日に、「ControlNet」など画像生成AI関連の著名研究者であるイリヤスフィール(lllyasviel)さんが発表した「ICライト(Imposing Consistent Light、印象的な一貫的なライト)」が盛り上がりました。入力した画像をもとに、後から指定した照明効果を踏まえた画像を生成する技術です。
画像生成AIで照明効果がつけられる「ICライト(IC-Light)」
発表された学習済みモデルは、「ライトを指定すると、キャラクターのデータに合わせてテキストのプロンプトに合わせて独自に背景を生成するもの」「キャラクターとライトの影響を加味して、別の背景画像と合成するもの」の2種類があります。これは2000年にSIGGRAPHで発表された「Light Stage」という手法の流れ。当時は人の顔に様々なライトを当てるために、全方向からの照明を当ててデータを収集し、その反射を計算式にすることで、光の当たり方を計算することでレンダリングをできるようにするというものでした。2021年にはグーグルリサーチが、ディープラーニングのフレームワークを利用して同じようなことを実現する方法を発表しています。
![](/img/2024/05/26/3738056/l/ed4dc5f22c556f52.png)
2000年には、正確なライトの当たり方の方程式を生み出すために、大掛かりな機材で人物の様々な角度の写真を多数撮影して、データの計測をしていた(Light Stage 1 movie from SIGGRAPH 2000 Electronic Theaterより)
![](/img/2024/05/26/3738058/l/bf8ba1f1874f6c68.png)
生み出された計算式により、人物にはレンダリング後、正しいライティングがあたる状態になっている。この技術は、現在の3Dレンダリングの基礎の一つになっている(Light Stage 1 movie from SIGGRAPH 2000 Electronic Theater より)
今回のイリヤさんのものはStable Diffusionのベース技術であるディフュージョンモデル(拡散モデル)を使い、ControlNetの制作技術と合わせながらトレーニングモデルを開発して、より手軽に扱えるようにしたことが革新的です。
IC-Lightはかなり性能が高く、いろんな人がお試しで作例を上げている状態です。実際にデモページで、この連載ではおなじみのキャラクター「明日来子」さんの画像を作ってみました。1枚目に、元となるキャラクターの画像を用意し、2枚目に任意の背景を設定。そこから生成するだけで、キャラクターを切り抜き、背景のライトに合わせてライティングした画像ができあがりました。髪の毛など完全に抜けていない部分は残っていますが、ほんの20秒程度待つだけで、この画像が出てきます。
いずれ「照明をコントロールするAI技術は出てくるよね」と言われていたところが本格的になってきたなという印象です。現時点でも非常に水準が高く、応用範囲が広いということで注目されています。
現在は専用のアプリ環境として公開されていますが、学習済みモデルが公開されていることもあり、他のユーザーによって画像生成AI「Stable Diffusion」で使うための動作環境「ComfyUI」向けのモデルや、「A1111」用の拡張機能がさっそく開発されています。特に使いやすいのがkijaiさんの「ComfyUI-IC-Light」。これは「KJNodes」というノードを組み合わせることで、ライトの方向や色、強さを簡単にできる仕組みが整えられています。
ComfyUI環境でおもしろいのが、AnimateDiffの環境と組み合わせることで、ライトの位置を動的に変化させた動画を作成できること。下からスポットライトを当てるとか、ネオンの照明を光らせるといったことが簡単にできます。
これにより、非常に美しい画像を作ったり、広告表現の可能性を提案する方も登場してきています。今後、テクニックのひとつとして定着していくと考えられます。
lllyasviel氏が公開した、IC-Light(Imposing Consistent Light)を使ってみました。
— 銀河盤子 (@GingaBanko20XX) May 13, 2024
IC-Lightを使用したメイキングも次に投稿します。(正直IC-Lightは大変驚きました。)#AIart #ICLight #midjourney #DALL・E
盤子の秘境(平行世界)探検 pic.twitter.com/qbd9AkGWIK
まぁ、つまるところイリア氏のこのツール何ができるってAIイラストの枠を超えて自社製品のプロモーションをこうやってできるんですよ。 pic.twitter.com/7Ars4cU4Ak
— おれおん (@oron1208) May 8, 2024
![](/img/blank.gif)
この連載の記事
-
第68回
AI
AIが作る3Dモデルの完成度が上がってきた 毎回異なるモンスターが生成されるゲームも実現か -
第67回
AI
アドビの画像生成AI機能がまた進化 白黒3Dモデルがリアルな都市に -
第66回
AI
有名人そっくり、増え続けるAI音声 “声の権利”どう守る -
第64回
AI
自分好みのAIチャット相手を簡単に作れる「Dify」が面白い -
第63回
AI
まるで“いけない話ができるChatGPT” ローカルAI「Command R+」の爆発的な可能性 -
第62回
AI
動画生成AI、映像制作の“民主化”目指して研究進む -
第61回
AI
画像生成AI“児童ポルノ”学習問題、日本では表現規制の議論にも -
第60回
AI
3Dアニメーション技術の革新が止まらない -
第59回
AI
政府、生成AI推進に向けて議論を加速 -
第58回
AI
画像生成AIで同じキャラクターが簡単に作れるようになってきた - この連載の一覧へ