新清士の「メタバース・プレゼンス」 第77回

画像生成AI「FLUX.1」が相当ヤバい　LoRAで画風の再現も簡単に

ファインチューニング（微調整）も効果は抜群

　同じような効果を与える方法として、もう1つ出てきたのが微調整（ファインチューニング）です。ファインチューニングをやるには、メモリがLoRA以上に潤沢にある必要があるため、開発は一般的とは言えないのですが、それでも試す人が現れはじめています。

　その1人があいきみさん。FLUXのアニメ系ファインチューニングモデル「FLUXimation」を公開されています。おそらくアニメ系画像に強いNiji・Jorneyの画像を数百枚使って学習させたものと思われますが、かなりの品質のアニメ系イラストが出力できます。

Fluximation https://t.co/CezHAbugyL
Flux.1 devのアニメモデルをアップしました#Flux#flux1pic.twitter.com/wSTsr7Zf3N

— あいきみ (@AiWithYou1) August 16, 2024

　FLUX.1 devモデルの限界として、当初はアニメ絵があまりいいものが出ないというのが挙げられていました。標準でアニメ絵を出そうとすると、なんとも古くさく、ダサい感じに出力されるという印象がありました。

　ところが、そこにあいきみさんのモデルを入れるだけで、苦手であるはずのアニメが簡単に出力できるようになるのです。ランダムプロンプト設定をして、延々と違うバリエーションの画像が出てくるようにしたところ、日本人が好むアニメ系のイラストがどんどんと出てくるようになってくれました。

　ただ、FLUX.1の強みである指や体のおかしさが少ないという点が弱まり、少し奇妙な画像が出たりしますが、これは追加学習させたデータの影響だと考えられます。

筆者が、あいきみさんのFLUXimationを使ってランダム生成した画像

　また、あいきみさんのモデルと明日来子さんLoRAを組み合わせて使ってみました。これだけで出力が激変するのは、FLUXが内側に持っている潜在空間が広く、深いことの象徴とも言えます。

FLUXimationに明日来子さんLoRAを適応した状態。イラスト風に写真風がうまく影響を与えている

　あいきみさんは、もう少し一般的なアニメ風の出力を可能にする「FLUXimate」という別のモデルも公開されています。FLUX.1が高性能なために、FLUX.1がリリースされてまだ１ヵ月しか経っていないにも関わらず、すでにリリース当初は生成が難しいと考えられていた表現を実現できるモデルが登場し始めているのです。

　FLUX.1向けのControlNetもユーザーコミュニティが開発したものの公開が始まっていますが、まだまだ使いにくさがあったりします。しかし、すでにFLUX.1用のControlNetを開発するための汎用環境が登場していることもあり、本格的に使いやすいものが、今後登場してくるのは間違いありません。

　SDXLも初期段階では使いやすいものではなかったものの、ユーザーコミュニティーが様々な形で追加学習をさせることで使いやすくなっていったという経緯がありました。おそらくそれと同じことがFLUXでも起きるし、要求されるメモリ等のスペックは高いものの、SDXLより使いやすいために、ユーザーコミュニティーの後押しで、急激に様々なものが整いつつあります。相当これはヤバいんじゃないかと感じます。

 

筆者紹介：新清士（しんきよし）

1970年生まれ。株式会社AI Frog Interactive代表。デジタルハリウッド大学大学院教授。慶應義塾大学商学部及び環境情報学部卒。ゲームジャーナリストとして活躍後、VRマルチプレイ剣戟アクションゲーム「ソード・オブ・ガルガンチュア」の開発を主導。現在は、新作のインディゲームの開発をしている。著書に『メタバースビジネス覇権戦争』（NHK出版新書）がある。