新清士の「メタバース・プレゼンス」 第169回

もはやローカル動画生成AIの枠におさまらない。MiniMax H3の奥が深すぎる

「Context Loop」で動画の延長が容易に

　「Context Loop」という画期的な方法も発見されました。NikoDemon80さんの技術を、ethanfelが拡張したものです。

　動画生成AIの限界は、生成できる長さにありました。H3も15秒が限界で、無理やり長く作ることも可能なのですが、後になるほど一貫性が崩れ、人物やオブジェクトなどが崩れていきます。さらにVRAMの必要量が大きくなり、生成時間も爆発的に長くなるため、実用的ではありませんでした。そして、これまでシーンを繋ぐ技術は、作られた動画の最終コマをそのまま渡して作る程度だったので、一貫性を維持できませんでした。

　Context Loopでは、前の動画の最後の22フレームをまとめて圧縮し、動きの情報としてH3に渡すものです。H3はそれを「次の動画が始まる直前の動き」として参考にするため、人物の姿勢や動く方向、カメラの動きなどを引き継いで続きを生成できます。そのため、最後の画像を1枚だけ渡すよりも、前後の動画が自然につながりやすくなります。さらにOmni Referenceで参照画像も渡していると、それらの情報が連携するため、一貫性を持った動画が作りやすくなるのです。

　この方式が強いのは、原理的に生成できる動画の長さに制限がない点です。10～15秒しか作れないとしても、それを何度も繰り返すことで何分間にも拡張することができます。

　Context Loopを使って簡単なドラマが作れるか試してみました。「登場人物は女の子と老漁師の別れをテーマに、少しハートフルな内容で、45秒以内の軽いドラマを。日本風のアニメスタイルで」とCodexに指示し、上がってきた台本に、設定として女の子と漁師を、背景として港町と漁師の船をGPT Image 2に作成させました。

　その上で、その4枚をリファレンス画像として、カメラワークなども任せて、45秒（15秒x3）を自動で作成させたのが次の動画です。つながっている部分も不自然でなく、ドラマが成立しているように見えます。ただし、細かく見るとキャラクターの立っている位置関係などにおかしい部分も見られます。もっとも、これらも細かくプロンプトやリファレンス画像を調整していくと、より自然に制御できるように思います。

△「港の別れ」の動画

「港の別れ」で使ったリファレンスシート

　ミュージックビデオといったものも、最初のバージョンを一気に作り出すスタイルを実現できます。

　次の動画は、画像AI「Krea 2」でつくった画像を2枚と、音楽AI「Suno」で作成した音楽と歌詞をCodexに渡して作ったものです。カット数多めに、次々にシーンを切り替えてほしいと指示し、演出プランを立てさせ、参照画像をベースに必要になる画像を4枚ほどGPT Image 2で作り出し、順次、動画化して結合したものです。完成までには2時間あまりかかっていますが、一度セットアップが完了し、作業をスタートして以降は、すべての作業が、CodexとH3の間で、自動で処理されています。

　最初のバージョンとしてはなかなかの完成度で、またH3の表現力の高さを感じることができます。こうしたことも、今までのクラウドAIサービスでは手軽に扱えなかった機能です。

「ただいまの練習」のMVより

△「ただいまの練習」のMV