新清士の「メタバース・プレゼンス」 第87回

画像生成AIの進化が早すぎる　2024年に起きたことまとめ

一貫性のある動画が生成できるようになった

　9月に、動画生成AIの「Runway Gen3 Alpha Turbo」に、キーフレームの始点と終点をつなぐ機能が追加されました。Runway Gen3は7月にリリースをされていたものです。Open AIが2月に発表した動画生成AI「Sora」で大きな衝撃だったのが、動画AIであっても、生成した動画の一貫性が維持できるという点でした。その後、Soraがリリースされない間に、動画生成AI各社は同様のことをどう実現できるかを競い合って開発するようになりました。そしてRunwayは、一貫性を保ちつつスムーズなアニメーションを生成できるようになったことで、他社から技術的に頭一つ抜け出しました。

▲Runway Gen3 Alpha Turboのキーフレーム機能を使った生成した動画を複数枚組み合わせることで、明日来子さんは一貫性を維持しながら、様々な方向に顔の向きを変えている（「もはや実写と間違えるレベル　動画生成AI「Runway」の進化がすごい」より）

▲すでに発表されているリップシンクモードと組み合わせると、喋らせることもできる（「リアルすぎてキモい　動画AIの進化が止まらない」より）

　動画生成AIは中国系のHailuo AI、Kling、Viduといったクラウドサービスが夏頃から次々に開始され、激しい機能拡充競争が繰り広げられています。特に、中国系の動画生成AIでは、面白い動きをさせることに力点が置かれている印象がします。例えば、Hailuo AIでは「メガネをかける」といった複雑な動きも、そのキャラクターの一貫性を維持したまま生成できるようになりました。

▲Huliuo AIで明日来子さんの画像に眼鏡を掛けさせた動画。自然に生成されている。

　そして、11月にRunway Gen3に追加された「アドバンスドカメラモード」を利用することによって、1枚の画像から、様々な角度から撮影した画像を作り出すことができるようになりました。このモードを使って撮影した動画を利用することで「Postshot」というアプリを使うことで3Dガウシアンスプラフティング（3DGS）を生成できることがわかってきました。1枚の画像から、3Dデータとして扱える状態にすることが可能なのです。（参考「3DモデリングにAI革命の兆し　1枚のイラストから3Dデータが完成」）

▲明日来子さんの30秒の動画をPostshotで

　明日来子さんの画像から動画を作成し、3DGSのデータを作成してみました。今年の始めには1枚画像だった明日来子さんが、たった1年で、3Dデータとして扱えるようになったのです。来年には、明日来子さんが、3Dモデルとして、「Unreal Engine」といったゲームエンジンのなかでリアルタイムで動き出すようなことも実現まで到達しそうな気がします。