新清士の「メタバース・プレゼンス」 第92回

動画生成AI、ついにアダルトの扉が開く

動画に自動で効果音をつける技術も登場

　もうひとつ、年末に面白いものが出ていました。米イリノイ大学とソニーによる、「MMAudio」という研究です。動画生成AIの弱点は、生成した音声が無音であることでした。それに効果音をつけていくことは動画編集ソフトを使い、効果音を別に作成したりして設定する必要があるため手間がかかります。MMAudioは、動画を解析して、動画の動きに合わせて効果音を生成してくれるのです。WebUI環境のGradioで動かすことができるのですが、操作も簡単で非常に使いやすいです。権利もMITライセンスと使いやすいものです。すでに作例で触れている動画は、すべてこのMMAudioでつけた効果音です。

　実際に生成していると、生成時間も短く、手軽に動画に音をつけるにはこれで十分ではないかと思わせます。例えば、以前に作例で紹介した、雨の坂を下っていく10秒の動画に音をつけてみました。プロンプトには「雨、足音」と指定しています。生成時間は7秒程度で雨音と足音が動画に追加されました。それがつくだけで、没入感が劇的に変わります。

　この技術は、今後様々な動画サービスに統合されていくのではないかと思えます。

▲MMAudioで効果音をつけた状態の動画

MMAudioの画面。対応している１クリックでインストールできる「Pinokio」というソフトの管理環境を使っている