新清士の「メタバース・プレゼンス」 第105回

“イリヤ神”がまたやった　動画生成AI「FramePack」が革命的なワケ

派生版「FramePack-eichi」の誕生

　イリヤさんは、追加学習によってデータ的に介入するのではなく、動画生成の処理方法を見直すことでFramePackを実現しました。この手法への理解が進むにつれて、コミュニティーでは、処理の工夫によってさらに拡張する方法がないかと試行錯誤が始まっています。

　まず、使いやすい機能拡張版として登場したのが、git-ai-codeさんが公開した「FramePack-eichi」です。これはnirvashさんが公開したエンドフレーム機能を追加した独自版に、さらに様々な独自機能を追加したバージョンです。最新のv1.9（5月4日現在）では、LoRA開発で知られるKohyaさんのコードも導入したことで、Hunyuan VideoのLoRAも組み込むことができるようになりました。また、FramePack専用のLoRAの開発も始まっています。

　FramePack-eichiには、生成途中に、他の画像の影響を与えるキーフレーム設定の機能も追加されており、ポーズやプロンプトを組み合わせることで、一定の影響を生成中の動画に与えることができるようになっています。

FramePack-eichiのUI。GUIが用意されていることもあり、直感的に理解しやすい

前から順に生成「FramePack-F1」

　さらに、5月3日に、イリヤさんは「FramePack-F1」を発表し、既存のFramePackに統合しました。これはこれまでの動画生成AIと同様、前から順に生成できるようにしたものです。ドリフト問題への新たな対策を盛り込んだことで、あまり効率化の悪化はないという判断があったものと考えられます。やはり、前から順に生成して過程を見られる方が、動画生成時には直感的に判断しやすいという点もありそうです。

　ただし、処理方法が変わったために、FramePack-eichiで実現できていたエンドフレーム機能やセクション設定は、執筆時点では効果を失っているようです。

▲前半はFramePack-eichiの作例。エンドフレームとキーフレームを使っている。まったく同じにはならないが、動きに一定の影響を与えることができる。後半はFramePack-F1の作例。使っていないために、顔がだんだんと別の顔に変わっている

FramePack-eichiで使った参照画像。いずれも、Midjounery v7のOmni-Referneceを使って作成している