新清士の「メタバース・プレゼンス」 第55回

動画生成AIの常識を破壊した OpenAI「Sora」の衝撃

ゲームそのものをSoraで動かせる可能性も

　これは、動画生成AIがゲームエンジン的な存在になることをはっきりと示しています。

　ゲームそのものをSoraで動かせる可能性がすでに出ているとも考えることができます。その根拠になっているのが、前述したマインクラフトを再現した動画ですね。もし、動画生成の応答が非常に速く、リアルタイムレンダリングができれば、ゲーム自体ができてしまう。物理そのものを学習できれば、ゲームのルールである「攻撃して」「倒す」ということさえも学習できてしまうはず。これは単純な例ですが、動画を作るだけでなく、動画のなかから、世界のルールそのものを動画から学習できる可能性さえ感じられるのです。

　少なくとも、動画を3Dはできることがわかっています。公開された映像から、2D→3D変換技術のNeRFに組み込んでいるケースが登場しています。カリフォルニア大学サンディエゴ校のXiaolong Wang（シャオロン・ワン）助教授は開発中のNeRF技術で、Soraの画像を3Dに変換できることを証明してみせました。

Is 3D scene generation much closer to being solved all of a sudden? It has been a few days since the release of @OpenAI Sora. We run our COLMAP-Free 3D Gaussian Splatting on the released videos. Our method does not need to pre-process cameras and it seems we can directly just get… pic.twitter.com/1A4PE4teGp

— Xiaolong Wang (@xiaolonw) February 20, 2024

　さらには、写真から3Dガウシアンスプレッティングを生み出すサービスの「Luma AI」でも3Dデータに変換できることを証明している人もいます。動画の解像度が足りないので、現状はつぶれてしまうのですが。

I find it fascinating that you can take an AI video generated in Sora & turn it into a little 3D scene by uploading it to an app on your phone (Luma)

the resolution sucks, but it feels like a little glimpse into what we'll be able to do once we're generating full 3D worlds pic.twitter.com/hgBXZxvp7o

— Nick St. Pierre (@nickfloats) February 21, 2024

　もちろん、3Dに当たり判定を与えて、プレイヤーを配置して動かせれば、リアルタイム生成で動くようなことができてしまうと。レンダリング時間などはあるのでどこまでできるかということはあるんですが、力学システム自体を学習してしまい、ゲームシステムさえ動かすことができれば、Soraのなかでゲームができてしまう可能性もあるわけです。

　実際、OpenAIはマインクラフトのような表現ができることは「ビデオモデルの継続的な拡張が、物理的・デジタル的世界と、その中で生きる物体、動物、人間の高度な能力を持つシミュレーターの開発に向けた有望な道であることを示唆している」と主張しています。

　Soraの発表により、AGI（汎用人工知能）が迫っているという意見もあります。これまでは知性というものが問題になっていましたが、世界全体がシミュレーションされることがAGIと呼べるということになると。

　1月に、Midjourneyが画像生成AIを今年末までにゲームエンジン化するということを目指していることを紹介しましたが（「“世界生成AI”到来か　画像生成AIのゲームエンジン化が進む」）、なんと、それから1ヵ月あまりで、実際に成立する現実的な可能性が登場してきました（笑）。