新清士の「メタバース・プレゼンス」 第86回

イラストに強すぎる画像生成AIモデル　SDXL系「NoobAI-XL」の衝撃

「Kohaku」「Illustrious」「NoobAI-XL」

系統モデルのほぼ同じプロンプトでの比較。Animagine XLでは指や髪など細かいディティールは溶けがちになるが、IllustoriousやNoobAI-XLといったモデルになるにつれて崩れがなくなっていく。生成はいずれもWeb UI Forgeを利用して生成している

　では、NoobAIはどんな経緯で作られたモデルなのか。エマノンさんという方がモデルをチャートにまとめてくださっているので、参照しながら説明します。

これ作ってて知ったんだけど、noobって0.6とか0.77とかもあったのな(図からはカットしたけど) pic.twitter.com/OrebG8B8RN

— エマノン (@Emanon_14) November 15, 2024

　モデルのファインチューニングには、画像とテキストをセットにして新規に追加学習させる方法と、他のモデルとを結合（マージ）する手法を組み合わせる方法があります。強力で有力なモデルが登場すると、それを土台にして多くに人が微調整（ファインチューニング）を繰り返し、様々な派生モデルが登場します。SDXLは最初の土台モデルとして様々なモデルが作られています。

　特に、今年に入ってからはアニメ系の「Animagine XL（アニマジン）」系、この図にはありませんが、「Pony（ポニー）」系が流行していました。これらのモデルも様々な派生モデルが作られ、Pony系は実写系からアニメ系まで幅広く人気があります。ただ、タグ情報の学習方法が異なり、この2つのモデルは互換性が低いことが知られています。

　さらに別系統として、台湾の琥珀青葉さんが開発している「Kohaku（コハク）」系モデルがあります。SDXLがリリースされた2ヵ月後の2023年10月にリリースされた「Kohaku-XL beta v5」は、150万枚の画像を使っての追加学習とマージモデルとを組み合わせた、イラスト系に強いモデルとして登場しました。

Illustrious v0.1（HuggingFace）

　さらに、このモデルを土台にして、2024年9月に大幅な追加学習をした「Illustrious（イラストリアス）v0.1」というモデルが発表されました。開発したのは韓国ONOMA AIというウェブトゥーン用ツールを開発している会社でした。当初は公開するつもりはなく、一部ユーザーに限定してテストしていたようですが、データが発表前に流出してしまったことで、公開路線に切り替えたようです。

　このIllustrious v0.1はこれまでのモデルでは実現されていなかったレベルでの高品質化をもたらしました。公開された技術レポートによると、Illustrious v0.1は750万枚の学習データが使われています。これはAnimagine XLの210万枚、土台としたモデルに近いKohaku XL Deltaの360万枚に比べても大幅に増やして学習をしていることがわかります。

Illustrious XL v0.1の学習について他のモデルと比較したチャート。v0.1よりも強力なv1.0以降についても情報が掲載されているが、発表されていないため、すでに開発済みなのか、今後の計画なのかはわからない（「Illustrious: an Open Advanced Illustration Model」より ）

　また、学習時にクラウドサービスとして展開されている画像生成AIの「NovelAI（NAI、ノベルエーアイ）」の方法論を取り入れたことも明らかにされています。NovelAIは2022年10月に画像生成サービスを開始していますが、当初より土台としたStable Diffusion 1系統のなかでアニメ系の画像に突出して強いことが知られていました。この要因の一つが、画像キュレーションサイト「Danbooru」を学習データとして利用した点でした。

クラウド型画像生成サービスのNovelAIの画面。現在は、v3が提供されている

　Danbooruにはユーザーにより登録された約800万枚の画像と、その画像が何であるのかを示すタグが登録されているのですが、画像とタグがペアになっているのでAIの学習データとして便利だったのですね。そこに、NovelAIチームが開発した独自のタグ順序付け手法を使って学習をした、強力なモデルを生み出していました。

　この手法が公開されていたこともあり、Illustrious XL v0.1はNovelAIの方法論を応用し、2023年のDanbooruのデータを学習用データの整理に役立てたようです。さらに、タグだけでなく、自然言語モデルも組み合わせることによって、自然文でのプロンプト指定にも従うようになりました。