JoyPix.ai、AIリップシンク動画生成モデル「Motion-2.5」「Motion-2.5-Dialog」提供開始　単人動画と2人対話動画に対応

　合同会社JoyPixは6月15日に、AIアバターやAIリップシンク、AI画像／動画生成を提供するオンラインクリエイティブツール「JoyPix.ai」において、主力機能であるAIリップシンク生成モデルをアップデートし、新バージョン「Motion-2.5」および「Motion-2.5-Dialog」の提供開始を発表した。単人動画と2人対話動画に対応し、API経由での導入も可能になったという。

「Motion-2.5」は、1人のキャラクターが話すAIリップシンク動画を生成可能。1枚の静止画とテキストまたは音声素材をもとに、人物・動物・キャラクターなどの画像から自然なリップシンク動画を生成するという。「Motion-2.5-Dialog」は、2人の人物やキャラクターが会話する対話型リップシンク動画の生成に対応。AI対話動画、キャラクター会話、デジタルヒューマン同士の掛け合いなど、より幅広い動画制作ニーズに応えるとしている。

　主な特徴は、従来よりも高精度なリップシンクにあるとのこと。入力された音声に対して口の動きをより細かく同期し、スピーチだけでなく歌唱コンテンツでもより自然な口元の動きと表現を実現するという。

　口元の動きに加え、頭の動きや顔の表情、身体の姿勢まで含めた自然な一貫性を重視。より生き生きとした表現を可能にするとのこと。また、生成中のフレーム全体で顔の特徴やキャラクター性、画像全体の印象を保持しやすくなり、人物ポートレートやブランドキャラクター、動物画像、イラストなど幅広い素材で安定した動画を制作できるとしている。

　制作においては、1枚の静止画とテキストまたは音声素材を用意するだけで、撮影や収録を行わなくても、話す・歌うアバター動画を生成可能とのこと。多様なコンテンツの制作を効率化するという。また、いずれも「JoyPix.ai」のWebサービス上での利用に加え、API経由でも利用できるとのこと。