画像生成AI関連の著名な開発者、lllyasviel（イリヤスフィール）氏が5月7日、生成AI画像の照明を自在に操作できるツール「IC-Light（Imposing Consistent Light）」を公開した。
2種類のモデルを公開
左端の3枚が前景画像、最上部5枚が背景画像
IC-Lightは画像の照明を操作するプロジェクト。前景画像（人物やオブジェクトなど）を入力し、プロンプトにテキストや背景画像を指定するだけで、まるで別の環境で撮影したかのような画像を得ることができるという。
現在、「テキスト条件付きリライティングモデル（text-conditioned relighting model）」と「背景条件付きモデル（background-conditioned model）」の2種類がGitHubで公開されており自由に試すことができる。
なお、作者のlllyasviel氏は「Stable Diffusion」のWebUIである「Fooocus」「stable-diffusion-webui-forge」や、生成する画像のポーズなどをガイド画像などを利用して制御できる「ControlNet」の開発などで知られる著名な開発者だ。
テキスト条件付きリライティングモデル
テキスト条件付きリライティングモデルは、前景画像、テキストプロンプト、照明の初期状態の3つを入力として画像を生成する。
テキストプロンプトには「beautiful woman（美しい女性）、warm atmosphere（温かい雰囲気）、bedroom（寝室）」といった条件を指定し、照明の初期状態（Lighting Preference）として「Left（左から）など」を設定することで、指定した条件に合う照明の画像を生成する。
背景条件付きモデル
背景条件付きモデルは、前景画像と背景画像、テキストプロンプトを入力して生成する。例えば、前景画像に人物を、背景画像に「紫の街灯に照らされた緑の道路」を指定し、テキストプロンプトで「cinematic lighting（シネマティックライティング）」とすると、背景の照明に合わせて人物に自然な照明が当てられた画像が生成される。
IC-Lightがこのように自然な照明変更を実現できるのは、HDR（High Dynamic Range）空間での照明の一貫性を利用しているからだ。
HDR空間では、異なる光源からの光が独立に振る舞うため、複数の照明画像を合成した結果と、それらの光を混ぜた照明画像が等価になる。IC-Lightはこの性質を利用し、ニューラルネットワークが生成する画像が照明の一貫性を保つようにしているという。
画像の照明を背景や指定した条件に合わせて変更できるこのツールは、イラストレーターだけではなく、写真家や動画・CGクリエイターにとっても強力な武器になるだろう。
