新清士の「メタバース・プレゼンス」 第42回

爆速化する画像生成AI。0.5秒で4枚出力、リアルタイム生成できるレベルに

LCMでも追加学習「LCM-LoRA」登場

　そんななか、11月9日、LCMについて同じくルオ氏が中心となって研究されたさらなるブレイクスルーを起こす論文が発表になりました。「LCM-LoRA」です。

　LoRAは、画像生成AIへの追加学習を可能にするモデル形式のこと。Stable Diffusionの世界では一般的になっています。LCM専用の学習済みデータを再学習させてLoRAにすることによって、より簡単に扱えるようにしようという仕組みです。発表されたのは、「Stable Diffusion v1.5」「Stable Diffusion XL（SDXL）」といったバージョンの異なる画像生成モデルに適応できる3種類。これを組み込むことにより、LCMを汎用的に使うことができるようになります。

　実際に、Stable Diffusionの代表的な動作環境である「ComfyUI」に組み込むことに成功できた報告も上がっています。ステップ数を5分の1で動作させることができるようになるため、生成速度は通常の状態に比べて4.8倍と5倍近くも速くなったそうです。もちろんビデオメモリーの少ないローエンドのPCでも使えると考えられます。

　LCM-LoRAの普及が進めば、画像生成AIの基本環境はより扱いやすいものに変わる可能性があります。

シンプルな設定に、LCM-LoRAを組み込み、生成のスケジューラー設定を変更するという簡単設定だけで、生成速度は5倍に達したという（Xより）

这是生成的那个视频 pic.twitter.com/Lh56Gotakj

— 歸藏 (@op7418) November 10, 2023

▲AnimateDiffの生成も、投稿者の環境では16コマの生成にかかったのは7秒と劇的に短くなったと報告がなされている