新清士の「メタバース・プレゼンス」 第142回

数枚の画像とAI動画で“VTuber”ができる!? 「MotionPNG Tuber」という新発想

動画から“口だけ”抽出するアプリを活用

　表情差分は「Nano Banana」を使って作成しますが、そのための作成支援ツール「EasyPNGTuber」も公開されています。これをよりリッチな動きを実現するため、アニメーションを使おうというのが、アイデアです。しかし、動きは激しいものではないとはいえ、口の動きを分析して、差し替えるのはなかなか試行錯誤の連続だったようです。

　MotionPNG Tuberは、アニメやイラスト風のものであれば、大抵の動画で実現可能ということで、画像からAI動画を作ってしまえば、それを応用することで簡単に実現ができます。筆者の場合も、xAIの「Grok Imagine」で、6秒のループ動画を作成しています。そして、口の動きのデータが重要になるため、プロンプトでは“日本語で何かを話している”としていました。

　その動画から、「独立した口の画像」と、「口が描かれてない動画」を作る必要があるのですが、手間をかけずにそれをどう手軽に作るのかが課題にもなりました。そこに、カズヤ弟さん（@dodo_ria）が開発した「MouthSpriteExtractor-SAM3」が登場しました。11月にメタが公開したテキスト指定で画面内のものを切り抜ける汎用セグメンテーションモデル「SAM3」を使って、動画から、口だけを抽出するというアプリです。

　このツールを使うことで、口が開いている、閉じている、半開きなどの状態の候補をリストアップし、そこから使えるデータを指定して出力します。

MouthSpriteExtractor-SAM3を使っているところ

　その上で、MotionPNGTuberに、素材とする動画や口の画像を読み込み、キャリブレーションして、また位置調整をします。その上で、画像を重ね合わせても不自然にならないようにするために「口消し動画」を作成し、実際に「ライブ実行」をして、口の画像がリアルタイムに乗せられているか、適切に動いているのかを確認します。

MotionPNGTuberで口の位置推定をしているところ

△筆者の動画の口消し動画