新清士の「メタバース・プレゼンス」 第115回

“一貫性”がすごい画像生成AI　冬服→夏服も一発変換　話題の「FLUX.1 Kontext[dev]」

画風LoRAも登場し、動画生成にも使いやすく

　さらに、画風LoRAも登場し始めています。サーバーレンタルサービスのFalはLoRAトレーニング環境「LoRA trainer for FLUX.1 Kontext [dev]」を提供開始しています。変化前と変化後の画像のペアをセットにして20～30パターンを登録して作成すると、専用のKontext LoRAを作れます。それによって作成されたLoRAの開発も進められています。比較的LoRAの開発もしやすいこともあり、今後も、様々な可能性が探られることになるでしょう。

　ただ、標準のワークフローでは、LoRAに対応していないため、LoRAを動かせるワークフローは別途に用意が必要です。

　reverentelusarcaさんが公開した「FLUX Kontext Character Turnaround Sheet LoRA」は、正面の画像が1枚あれば、様々な角度からのキャラクターシートを生成してくれるというLoRAです。参照画像は右端の上半身の女性です。少し欧米のカートゥーンよりの画風ですが、様々な角度からのキャラクターを生成してくれます。なぜか右端に男性も生成されていますが、その部分だけ削除すれば使用時には問題ありませんでした。

　このキャラクターシートが便利なのは、動画生成AIのViduのリファレンス機能と組み合わせて一貫したキャラクターの動画生成に使えることです。画面外のものは、他のサービスでは生成するたびに違うものとして生成されやすいのですが、リファレンス機能を使うと一貫性を持った動画として生成されます。

キャラクターシートを生成している画像

Viduのリファレンス機能。3枚までの画像を登録でき、立ちポーズを登録した様子

△Viduのリファレンス機能を利用して生成した動画

　apolinarioさんは「Kontext Relight」というLoRAを発表しました。このLoRAでは照明環境を任意に変更できるようにトレーニングされています。ライトのタイプや方向などを設定することで、場面の雰囲気を維持したままライトだけを変えることができます。HuggingFaceにデモ版も公開されていますが、ローカルPC環境でも問題なく使用できます。

上半身のサンプル画像をベースに様々なライト設定をしてみたもの。ポーズや顔を維持したままライトや雰囲気が変わっている。ただ、画風まで変わってしまう場合もあるので、プロンプトで調整が必要