新清士の「メタバース・プレゼンス」 第169回

もはやローカル動画生成AIの枠におさまらない。MiniMax H3の奥が深すぎる

プロンプトはスキルを使ってAIが書く

　そもそも、H3のプロンプトはかなり構造化されており、内容を的確に反映させるには、人間がそのまま書くのには向かない構文が求められます。実際、現在のAIサービスで動画を生成する場合、ユーザーが簡素な文章を入力すると、一度LLMで中身を膨らまして、AIが理解しやすい形の構造化されたプロンプトにしてから投入されるのが普通です。

　そのため、MiniMaxは公式にCodexやClaude CodeといったLLMで使えるスキル（指示文）を公開しており、それらを読み込ませて、自分の描きたい内容を日本語で指示すれば、必要なプロンプトを生成してくれるようになっています。

　例えば、OmniReference用の公式スキルは、参照画像・動画・音声を役割別に整理し、H3向けの6項目に変換します。人物や衣装を定義する「subject_definitions」、生成内容の要約、参照要素をどこまで維持するか示す「retention_analysis」、ショットごとの映像・動作・カメラ・台詞を記す「detailed_description」、環境音、劇伴という構造です。参照人物の混同や衣装変化を防ぎながら、時間順に動画を設計するのが特徴です。

　1枚の画像を参照させ「女性が渋谷の街を歩いている」とした短い文章で試してみても、プロンプトは英単語数175語（1246文字）で出力されました。わかりやすいように日本語化しています。女性の情報は詳しく解析されてプロンプトが起こされているのに対して、渋谷についてはテキストでも簡単にしか指示していないため、内容にはかなり差がついています。公式には350〜500英単語が推奨されているため、少しシンプルな文章ではあるものの、それでも、人間がこれを記述するよりも、AIに作成を任せたほうがいいものであることは感じられるでしょう。

参照画像（左）と実際に生成されたプロンプトを理解しやすいように日本語化したもの（右）

　筆者は、Codexにプロンプトを設計させる仕組み自体を、ローカルLLMにやらせることができないかと考えて、アプリに実装させました。ローカルLLMの動作アプリ「LM Studio」を使って、プロンプトを作る方式です。いろいろ試した結果、Googleの「Gamma 4 12B」を採用しています。ただ、H3はVRAMをめいっぱい使い、同じPC上で同時に動かす余裕がないため、LM Studioは別PCで動作させて、連携する仕組みにしています。それにより、クラウドAIを使わなくても、日本語からプロンプトを作成し、そのまま動画の生成までするようにしています。

　同じ日本語であっても、AIが作るプロンプトはどういう解析用プロンプトを与えるかで、微妙に結果が変わります。次の動画は、同じ日本語の文章と画像を与えて、公式H3スキルをCodex（GPT-5.6 sol）で使い、プロンプトを作成したものですが、筆者が改造を施したローカルLLM向けバージョンのほうが、より精緻な出力になっているように感じられます。一方、さまざまなシチュエーションで同じように機能するのかは、まだまだ検証が足りません。適切な結果を出すための条件を、筆者も研究している最中です。

明日来子さんとゲストキャラの田中さんとが話している場面の動画より

△その動画。前半が公式H3スキル版、後半がローカルLLM版（2K再生成をしている）