新清士の「メタバース・プレゼンス」 第158回

SDXLの次はこれ？　アニメ特化のローカル画像生成AI、驚きの実力

わずか45分でLoRA完成、キャラと画風のキープに成功

　実際にAnima LoRAの実力を見ていきます。過去に「SDXL」で作成した本連載のゲストキャラ「田中さん」のAnima LoRAを作った結果です。作成結果は下記のとおりです。アニメ用の田中さんの特徴である眼鏡、ボブヘア、中央部分の前髪などをうまく捉え、再現しています。また、右下は銀色の服のプロンプトにLoRAを適用した画像です。顔の一貫性を維持しつつ、画風も含めて似せることに成功しています。また、SDXLではよく起こりがちな、細部が溶ける現象もかなり抑制されています。

田中さんのAnima LoRAを使って様々なプロンプトで生成した結果

　このLoRAの作成には、SDXLで作成した1024x1024の画像25枚ほどで構成されたデータセットを使いました。SDXL環境では、一貫性を持たせるのが非常に難しく、何枚も生成して、その中から似た印象の画像をピックアップしています。それをさらにSDXLではLoRA化していたのですが、それでも、キャラクターはなかなか安定しません。

　また、条件にもよるのですが、SDXLでは、キャラクターLoRAを作成する場合、経験的に学習を何回繰り返すかの指標となるステップ数は、2000～2500程度にするのが一般的です。3000までいくと過学習が起こり始め、ノイズが乗り始めたりします。そして、SDXLでは25枚ほどでも、LoRAの学習をするのに筆者のRTX 4090搭載PCで、4～5時間は見ておく必要があります。もう少し枚数を増やし、50枚近くにすると、10時間を超えるのは普通で、時間のかかる作業でした。

SDXLで作成した、田中さんのデータセット用画像25枚。SDXLで一度作ったLoRAを使って生成しているが、それでも顔や服がなかなか安定しない

　ところが、何より驚いたのは、Anima LoRAを作成するために、25枚を1500ステップで学習させると、筆者の環境では、45分程度だったということです。あまりにも速く学習が終わったので、不安になったほどです。

　しかし、その効果は劇的で、500ステップあたりで、すでに効果が出ており、1000ステップを超えるとほぼ違いがなくなっています。そのため、30分程度学習させれば、十分に一貫性を生み出せるLoRAを作り出せるということになります。　SDXLではタグの組み合わせのみでしたが、Animaでは「英語のカンマ区切りタグ＋短い自然文フレーズのハイブリッド」が推奨されています。実際のタグ付け作業は、OpenAIのAIエージェント環境の「Codex」に条件を理解させた後に実行させました。

田中さんのAnima LoRAにおける、学習ステップごとのLoRAの効果の差。500ステップあたりですでにかなり似てきており、1000を超えるとほぼ違いがなくなっている

田中さんのAnima LoRAで、同じプロンプトでLoRAを適用しない状態（左）と適用した状態（右）