新清士の「メタバース・プレゼンス」 第89回

OpenAI「Sora」残念な離陸　中国勢が飛躍する動画生成AI

キャラクターやカメラワークが崩れやすい

　ただ、そうした制約より、現状のSoraで致命的に感じるのは、人物の一貫性の維持が難しいところです。特に、20秒といった長尺の動画を生成すると、10秒ぐらいからはキャラクターの造形が崩れてしまう傾向があります。また、カットを勝手に切り替えてしまうということも頻繁に起こります。ランダム性も非常に高くて、コントロールが難しいと感じます。

　描写内容の制限も多いようです。プロンプトに性的な描写を感じさせる文言があったり、特に児童の描写に関連する動画には、他の動画AIと比べて厳しく制限がかかる印象があります。これはSoraの規約にある「明示的な同意なしに、個人の肖像を描写した動画を作成することはできません」という項目と、「18歳未満の児童を含むコンテンツのアップロードは、たとえ児童の許可があっても許可されません」という項目があるためだと思われます。

　テキストプロンプトからビデオを生成するt2v（Text-to-Video)では、「ビキニ姿の女性がダンスをする」といった動画を作ることもできたのですが、規約の範囲はかなり厳格にチェックがなされているようです。

▲「白いビキニ姿のアジア系の若い女性が、砂浜でダンスしている」というプロンプトで、720p 20秒で生成した動画。ところが同じプロントにもかかわらず、生成結果の表示が拒否されることもある。生成後に、不適切な動画と判断されるケースもあるよう。このプロンプトの場合は、表示される確率は60％ぐらい。また、途中でカメラワークが変わったりすることはよくある

激しい動きのある人物は不自然なことが多い

　また、人物の動きについては、物理学的・解剖学的な正確性は完全からは程遠いです。体操やスキーなどアクティビティの動画を作らせると、不自然な動きが乱発されます。腕や足の数が増えたり、頭の前後が入れ替わったりします。

　人体の動きを正確に描写することは、動画AIにとって、今後も難易度が高いものであり続けると考えられますが、Soraでも、その例外ではないようです。

　2月の発表時に「Soraがどこまで物理現象を学習しているのか」ということが話題になりましたが、動画から特徴点として学習しているだけで、全体を制御するような物理法則をSoraは確立しているわけではないように見えます。（参考：動画生成AIの常識を破壊した OpenAI「Sora」の衝撃）

▲t2v 720p 20秒で、体操選手を生成してみたもの。途中で、頭、手、足がめちゃくちゃな動きをしている。プロンプトは「オリンピックで、美しいアジアの女性の体操選手が、激しい体操の演技をしている」