新清士の「メタバース・プレゼンス」 第62回

動画生成AI、映像制作の“民主化”目指して研究進む

タイムラプス風の動画が生成できる「MagicTime」

　さらに、インパクトをもって登場してきたのが、同じ研究グループが発表した「MagicTime」という研究です。

　植物が成長するような過程を撮影したタイムラプスの動画ばかりを学習させて、動画を生成すると、成長するような過程の動画が作れるようになったというもの。これまでのアニメーションGIFなどではほとんど動いていなかったものが、ちゃんと変化しているように見えるようになっています。

MagicTimeでは、草が成長し、花が咲く様子を生成することができる（GitHubより）

　ネット上から収集されたタイムラプスの動画に、タイムラプスとわかるようにテキスト表現する独自の解析方法でキャプションをつけ、約2265個の動画で構成される独自の学習データセット（「ChronoMagic」と呼ばれる）を構築したそうです。

　動画は、花の開花、氷の融解、「マインクラフト」での建築物の変化など、強い物理属性を表現していたり、持続性がありながらも、変化が大きなものを選んだようです。その結果、変化が強調されるような動画を生成できるようになりました。

 

 

筆者が公開されているデモを使って生成した動画

　Soraが登場したときに大きな議論を呼んだのが、学習用データを大量に取ることで、自然と物理法則のようなものを学習したのではないかという仮説でした。Open AIはこの件について明確には説明していません。しかし、学習データの量に限界があるとはいえ、MagicTimeの研究が示すのは、どうも仮説が正しい可能性が出てきています。

　MagicTimeの論文では、実現した学習済モデルを「タイムラプスから物理的知識を学習」と説明しています。そのうえで、タイムラプス動画を使ったAIの学習が、「物理世界の変容シミュレータを構築する有望な道筋であることが示唆される」と論じています。

公開されているデモで桜を生成してみたところ。桜の咲き方は少し微妙ではある。（HuggingFaceより)

　MajcTimeのモデルは公開されており、Google Colaboratory上で動く環境が用意されています。桜の花を咲かせてみたり、植物の根を生やしてみたり、マインクラフトの建築物を変化させてみたりということができます。つぼみが破綻したり、物理的には完璧とまでは言えませんが、コンセプトを示すことはできています。

　ただ、学習したデータには限界があるため、キャラクターを出したりと、学習されていないデータを出そうとするとあまりうまくいきません。画像生成AI「Stable Diffusion」を手軽に扱う環境として普及が進む「ComfyUI」用の環境も登場してきており、ローカルでも扱えるようになってきています。

　OpenAIのSoraに比べるとそこまですさまじいというものではなく、発表から間もない研究ということもあり、限界がある印象は受けます。とはいえ、Sora自体が登場してきたときは「手も足も出せない」くらいの印象でしたが、すでに先行する研究を利用して、愚直に大量にデータトレーニングすれば、Soraと同じようなことができるということ自体が重要な情報です。

　もちろん、OpenAIも一部の情報しか公開していないので、Soraのすべてがわかったというわけではありませんが、研究者でもまだできることはあるぞというところです。