新清士の「メタバース・プレゼンス」 第89回

OpenAI「Sora」残念な離陸　中国勢が飛躍する動画生成AI

月額20ドル（約3000円）は人物i2vもできない

　さらに、一枚の画像から動画を作成するi2v（Image-to-Video）については、サービス開始直後は、人物について厳しい制限がかけられていました。この連載用に生成したキャラクター「明日来子（アスキコ）さん」の画像を読み込ませて、動画を作ろうとしたのですが、人物が検出されたことを理由に生成を拒否されるという結果でした。アニメ風のキャラクターでさえ、人物が検出されたことを理由に拒否されました。OpenAIは、フェイク動画を作成されることを嫌っていると考えられます。

筆者がAIキャラクター「明日来子さん」の画像で生成しようとしたところ「メディアに人が含まれている」として、生成が拒否された

　ただ、i2vで人物を生成できないのは、サービス利用者にしてみると致命的な問題です。AI動画では、t2vよりも、i2vが重要であるという認識が広がっています。t2vでは動画AIの性質上、何が生成されるのかは完全にランダムになります。生成するたびに世界の様子も人物も変わってしまいます。生成した動画をつなげて、一定のストーリーにまとめるには、毎回違う内容の動画では使い物になりません。

　動画生成AIの使用方法としては、「Midjounery」などの画像生成AIを使って複数の画像を作り、それをi2vで動画にして、最終的に動画編集ソフトでつなぐという制作方法が一般化しています。そのため、i2vの性能が優れているかどうかが、動画生成AIサービスの評価を決める重要なポイントになっているのです。

　ただしその後、Proプランに引き上げたところ、i2vの条件が緩和されました。Plusプランでは拒絶されていた明日来子さんの画像を使ってi2vを生成しても、普通に生成できるようになったのです。Proプランだと条件が変わるのか、記事執筆時にPlusプランを含めて運営方針が変更されたのかは確認ができていません。ただ、i2v自体ができるようになっても、画像がアニメ系のキャラクターの場合、子どもっぽく見えるせいか、他の動画サービスと比べて、生成を拒否される傾向は高いと感じます。

「Sora」の欠点：i2v（画像→動画）がダメ

　Soraのi2vの制御は、他の動画AIに比べてかなり難しい印象です。

　多くの動画AIサービスでは、画像に多くのテキストを入力せず、簡単なプロンプトで動かします。LLMで画像を解釈して、ユーザーが入力したプロンプトと合わせてプロンプトを作成し、動画を作るのが一般的です。Soraもその仕組みが入っているようですが、ユーザーが少ないプロンプトしか入力しなかった場合、独自解釈が強くなってしまうようです。

　例えば、明日来子さんをi2vにした際に、「日本の街を軽やかな笑顔で歩く日本人女性」と指定したところ、明日来子さんは、途中で服が着物に変わり、街には桜が咲きました。細かい指定なしに、「日本人女性」と入れると着物姿で登場しやすく、「日本の街」とすると満開の桜の姿が出る結果になりやすいため、学習にも偏りがあるように感じられます。

i2v 720p 20秒の生成した結果。5秒まで行くと、すでに服は着物に変わり、後ろの街の様子は満開の桜の下に変わっている

　ただし、こうした不必な誤解釈を回避する方法も発見されています。厳密にプロンプトで指定しておくと、その画像から劇的に変化することがなくなるようです。詳しいプロンプトを付けると、独自のプロンプトを膨らませる機能が最小限になると考えられます。

▲LLMで画像を解析して生成したプロンプトを使っている。「これは、日本の都市の狭い石畳の路地で、黒髪で無表情の若い日本人女性を捉えた写真です。彼女はグレーのスカーフと黒のジャケットを着用しています。彼女は歩いています。背景には、赤と白の看板を含むカラフルな看板のある伝統的な木造建築が写っています。遠くには、黒いコートを着た別の人物が歩いています。空は少し曇っており、シーンに落ち着いたトーンを加えています。（注：原文は英語）」

　一方で、空撮画像を動かそうとしてみたら、ピクリとも動かない、あるいは、まったく別のカメラワークに切り替わってしまうということもよく起こります。とにかく、生成の結果が簡単に予測できず、期待した結果を出すのが簡単ではないという印象を受けました。

▲Fireflyで作成した街上空の画像にドローンが飛んでいるというプロントを追加して、i2v 720p 10秒で生成したところ、最初の画像は完全に無視されてしまい、まったく違ったシーンに切り替わっている