新清士の「メタバース・プレゼンス」 第172回

ついにAIキャラクターと“ビデオチャット”へ　「MiniMax H3」がリアルタイム生成に接近

再生中に「次」を作れば動画は終わらない　ローカルPCで無限生成に挑戦

　これについても、FastH3を使ってローカル環境で実現できないかという試みが登場しています。

　jacokonさんが開発した「fasth3-live」に、さらにリファレンス機能を追加することで動画の連続性を担保するよう工夫したEarthDefenceForcesさんの「FastH3 Ref2V Continuity Stream Controller」です。

　これはRTX 5090を搭載するPCを前提としているのですが、生成解像度を448x448とし、通常24fpsで生成される動画を18fpsにまで落とすことで、1つの動画を20.1秒にします。その動画は19.2秒で生成でき、一つの動画が再生されている間に生成が終了するため、果てしなくつながった動画を作ることができるという仕組みです。

　筆者は、この仕組みとfal.liveを参考に改造をしてみました。ブラウザで動画を生成できるようにしたり、他のPCのLLMと連携して日本語入力から自動でプロンプトをつくって動画を生成できるようにしたり、2つの選択肢が現れ、その選ばれた結果が動画に反映されていく形にしました。

　再生フレームが遅い分、変化はゆっくりですが、Omniリファレンスの仕組みも組み込んでいるため、人物の一貫性は保たれています。ただし、この機能は処理が重くなり、生成速度が遅くなります。20秒以内の生成を維持するため、生成解像度を320x320まで落としています。

　生成動画はとりとめもない展開が続きますが、選択に応じて展開が作られるセミリアルタイムの動画生成を実現できています。さまざまなカスタム実装を施していけば、さらにストーリー性を高められるのではと考えています。

筆者が改造した「FastH3 Ref2V Continuity Stream Controller」の生成の様子（制作にはバリーン・スタジオの環境を利用）。

△実際のプレー動画