新清士の「メタバース・プレゼンス」 第23回

画像生成AIに2度目の革命を起こした「ControlNet」

筆者作成

　画像生成AI「StableDiffusion」の進化が止まりません。昨年8月にオープンソースとしてリリースされてから、世界中のプロアマ問わず多数の人たちが様々な研究成果を反映させ、毎日と言っていいほど新機能を誰かが発表するという状況が起きています。

　StableDiffusion登場当初は、画像の品質のランダム性が高く、構図やポーズなどを指定できないという弱点を抱えていました。1枚の画像をもとに画像を生成する「i2i（image2image）」である程度コントロールすることはできても、「キャラクターに特定のポーズをとらせる」といったことは非常に難しかったんですね。

　その状況を一変させる新機能が今年2月に登場しました。その名も「ControlNet」。プロンプトによる制約を克服するための、とてつもないポテンシャルを持つ技術でした。Stable Diffusionに次ぐ「2度目の炸裂」と言っていいほど、生成AIのあり方を変えてしまいました。

　ControlNetを発表したのは、ハンドルネームlllyasviel、チャン・リュミンさんという研究者です。2月に関連論文を発表した後、2週間程度でStable Diffusionの制作環境「A1111 Web UI」の拡張機能に組み込まれてきたので、世界中が驚きました。論文発表後、これだけの早さで機能が実装されるというのは非常に珍しいことです。特に企業の場合、チェックプロセスなど様々な工程があるため、発表から1年程度待たされるのは当たり前のことでした。

ControlNetの開発者のチャン・リュミンさん（チャンさんの公式ページより）

　チャンさんはもともと香港中文大学で、白黒のイラストに着彩するAI技術「Style2Paints」を研究されていた方です。この研究は日本でもずいぶんと話題になりました。現在は、2022年にシリコンバレーの中心地にある米スタンフォード大学の博士課程に進み、画像生成AIの研究室に所属しているようです。

日本でも2018年に話題になった「Style2Paints」を使った実際の着彩例。lllyasviel氏の過去の研究を紹介するページから