画像生成AIに照明革命　日本と世界で同時に“神ツール”登場

2024年05月27日 07時00分更新

文● 新清士　編集●ASCII

この連載ではおなじみのキャラクター「明日来子さん」に右側からライトを当ててみた。左がIC-Lightを適用したもので、右がオリジナル。環境はWebUI Forge用の拡張機能を使用

　5月8日に、「ControlNet」など画像生成AI関連の著名研究者であるイリヤスフィール（lllyasviel）さんが発表した「ICライト（Imposing Consistent Light、印象的な一貫的なライト）」が盛り上がりました。入力した画像をもとに、後から指定した照明効果を踏まえた画像を生成する技術です。

画像生成AIで照明効果がつけられる「ICライト（IC-Light）」

　発表された学習済みモデルは、「ライトを指定すると、キャラクターのデータに合わせてテキストのプロンプトに合わせて独自に背景を生成するもの」「キャラクターとライトの影響を加味して、別の背景画像と合成するもの」の2種類があります。これは2000年にSIGGRAPHで発表された「Light Stage」という手法の流れ。当時は人の顔に様々なライトを当てるために、全方向からの照明を当ててデータを収集し、その反射を計算式にすることで、光の当たり方を計算することでレンダリングをできるようにするというものでした。2021年にはグーグルリサーチが、ディープラーニングのフレームワークを利用して同じようなことを実現する方法を発表しています。

2000年には、正確なライトの当たり方の方程式を生み出すために、大掛かりな機材で人物の様々な角度の写真を多数撮影して、データの計測をしていた（Light Stage 1 movie from SIGGRAPH 2000 Electronic Theaterより）

生み出された計算式により、人物にはレンダリング後、正しいライティングがあたる状態になっている。この技術は、現在の3Dレンダリングの基礎の一つになっている（Light Stage 1 movie from SIGGRAPH 2000 Electronic Theater より）

　今回のイリヤさんのものはStable Diffusionのベース技術であるディフュージョンモデル（拡散モデル）を使い、ControlNetの制作技術と合わせながらトレーニングモデルを開発して、より手軽に扱えるようにしたことが革新的です。

IC-Lightのデモページで作成した画像。背景は逆向きを選択している

　IC-Lightはかなり性能が高く、いろんな人がお試しで作例を上げている状態です。実際にデモページで、この連載ではおなじみのキャラクター「明日来子」さんの画像を作ってみました。1枚目に、元となるキャラクターの画像を用意し、2枚目に任意の背景を設定。そこから生成するだけで、キャラクターを切り抜き、背景のライトに合わせてライティングした画像ができあがりました。髪の毛など完全に抜けていない部分は残っていますが、ほんの20秒程度待つだけで、この画像が出てきます。

　いずれ「照明をコントロールするAI技術は出てくるよね」と言われていたところが本格的になってきたなという印象です。現時点でも非常に水準が高く、応用範囲が広いということで注目されています。

　現在は専用のアプリ環境として公開されていますが、学習済みモデルが公開されていることもあり、他のユーザーによって画像生成AI「Stable Diffusion」で使うための動作環境「ComfyUI」向けのモデルや、「A1111」用の拡張機能がさっそく開発されています。特に使いやすいのがkijaiさんの「ComfyUI-IC-Light」。これは「KJNodes」というノードを組み合わせることで、ライトの方向や色、強さを簡単にできる仕組みが整えられています。

ComfyUI-IC-Lightで、「明日来子さん」の画像右下からライトがあたっているように指定してみたもの。中央のノードでライトの方向を変更することができる

IC-Lightで画像を変換した例。作例（右）に、白から黒のライト（左）、黒からオレンジ（中央）。かなり自然に描けている

　ComfyUI環境でおもしろいのが、AnimateDiffの環境と組み合わせることで、ライトの位置を動的に変化させた動画を作成できること。下からスポットライトを当てるとか、ネオンの照明を光らせるといったことが簡単にできます。

明日来子さんと桜の画像を上方にピンクと下方に弱めで青のライトを当てて動画を生成している。kijaiさんが公開しているComfyUI用のサンプルを利用している

ベース画像

　これにより、非常に美しい画像を作ったり、広告表現の可能性を提案する方も登場してきています。今後、テクニックのひとつとして定着していくと考えられます。

lllyasviel氏が公開した、IC-Light（Imposing Consistent Light）を使ってみました。
IC-Lightを使用したメイキングも次に投稿します。（正直IC-Lightは大変驚きました。）#AIart 　#ICLight　#midjourney 　#DALL・E

盤子の秘境（平行世界）探検 pic.twitter.com/qbd9AkGWIK
— 銀河盤子 (@GingaBanko20XX) May 13, 2024