もし画像生成AI「Midjourney」がメタバースに実装されたら

文●新清士　編集● ASCII

2022年08月25日 09時00分

メタバースのモールを散策する女の子たち #midjourney

　画像生成AI「Midjourney」めちゃめちゃ面白いですね。月額30ドルの契約をしてしまったので試しまくっています。ハマるのが呪文（プロンプト）探し。コミュニティショーケースというところから他の人の呪文が見られるので、「日本のアニメ風」とか、使いたい画風の呪文を探し、条件を変えて試しています。ちょっと前まで風景を頑張っていましたが、今は人物を頑張っています。なぜかメガネが二重になってしまったり、ヘンテコな画像も生成されるのですが……。

実はAIが使われているメタバース

　実は、メタバースの世界にもいわゆるAIが使われています。

　詳しくは『メタバースビジネス覇権戦争』を読んでいただきたいのですが、たとえばメタバースの物理制御にもAIが使われています。あるオブジェクトを投げ、それが何かにぶつかって、ぶつかったものが崩れるといった物理制御の技術はかつてはAIと言われていました。AIは一度技術として確立すると、AI分野として呼ばれなくなるという傾向があります。物理制御は専用の物理計算用のプログラムで実現するのが一般的ですが、最近では深層学習技術も使って組み合わせるケースが登場してくるようになっています。

　この物理制御の精度が上がるかどうかで、メタバースの没入感は致命的とも言えるほど大きく変わります。

　たとえば、メタが推し進めているVR会議システム「Holozion Workrooms」に登場するメタアバターは、「Meta Quest 2」の頭、左右の腕の3ヵ所しか位置検出をしていませんが、腕をかなりおかしな位置に動かしても、腕の形状がきちんと保持されます。特におかしな位置に移動しがちなひじも適切に表示されるようになっています。これは深層学習を組み合わせて、腕の動きを制御するためのプログラムを作成したためだと考えられています。

　メタバースにとってのAIの重要性はますます広がっています。メタのマーク・ザッカーバーグCEOは今年2月にAI技術についてのプレゼンをしています。AIを使って人間の活動をサポートするARに焦点を当てたプレゼンで、AIによるテキストのリアルタイム翻訳や、マップの自動生成ができるようになると話していました。自動生成はまだ基礎的なものですが、音声入力ひとつで空間にオブジェクトが自動で次々に配置されるようになっていました。今後アルゴリズムを複雑化させ、自社のメタバースサービス「Horizon Worlds」に実装してくる想定のものでしょう。

　メタではユーザーの顔を認識してリアルなアバターに反映させる研究もしていて、目と口の動きを認識するため本人としゃべっているのと同じ感覚になるといいます。これは10月末の発売がうわさされる新型デバイス、通称「Quest Pro（Project Cambria）」に実装されることが確実視されています。といっても当初はリアルアバターではなく、メタアバターに表情を乗せる形になるのではないかと思いますが。

　実は、ゲームの世界ではすでに背景の自動生成（プロシージャルと呼びます）が当たり前になっています。オープンワールド系のゲームサービスはもはや自動生成がないと作れません。

　自動生成にはアルゴリズムが設定されているので、たとえば建築物ならテンプレートを決めて座標を入れるだけで自動的に作れてしまいます。あとは細かいところを調整するだけ。これもAIの一種です。最近では背景作成の自動生成はAIだとは言われなくなりつつあります。見せたいところは人間が作りこむ必要がありますが、背景のように細かくて人間が認識できないところはこういったツールで作るのが、家庭用ゲーム向けソフトでは一般的になっています。

　自然物も同じです。現在は森などの自然物はむしろ作りやすいものになっているんです。パッケージ化されたデータを使い、ブラシで描くように地形を作り、それをゲームに合わせて補正することが多いです。

　オープンワールド系のゲームはこうしたツールで背景を自動生成していますが、極論を言えば毎回違うステージを自動生成させることもできます。実際にそれをやっているのが「マインクラフト」です。ステージの生成処理を軽くするために素材をキューブ状のものにしているんですね。家庭用ゲームで行なわれていることは、ざっくり言うなら同じような「自動生成技術」と言えます。

AIは「派生技術」がカギになる

　このようにメタバースやゲームはAIによってサポートされている部分がとても多い世界です。それではこれからMidjourneyのように画期的な画像生成AIサービスがメタバースに実装されたらどんなことが起きるのでしょうか。

　Midjourneyは急激にその存在が知られるようになりましたが、深層学習モデルを利用して、AIにイラストを描かせるものとして、商用レベルと考えても使い物になる画像を簡単に生成できると、高い注目を浴びています。単にイラストを描くというだけでなく、それらを別のコンテンツへの派生利用の可能性も見えてきているため、非常に高い可能性が感じられるのです。

　すでにMidjourneyが爆発的に注目を浴びてから、派生して様々なことが起きています。そのデータを別のものに転用できないかという試みが出てきています。

　たとえばMidjourneyでダンジョン系のゲームに使われるタイルを生成した人がいます。これに奥行き情報を持たせ、PhotoshopでNormalMap（3Dモデル表面のテクスチャ情報）の情報を作成すれば、データをUnrealEngineといったゲームエンジンにもっていけば、入れればそれだけで立体になります。外部に発注したら1〜2週間かかっていた素材が3分余りでできてしまいます。

　Midjouneyのデータを他のアプリケーションで使いやすくするためには、Depth情報を作り出して組み合わせるという方法があります。これも深層学習を通じて作られたAIなのですが、AIに解析させることで、2Dの画像だったものに立体情報を追加していくことができるのです。この分野も技術革新のペースが速いものです。1年前に発表された方法は無料で使用することができます。

Boosting Monocular Depth Estimation Models to High-Resolution via Content-Adaptive Multi-Resolution Merging
http://yaksoy.github.io/highresdepth/

　そうしてDepth情報を与えたMidjourneyの画像を「Looking Glass Portrait」というホログラフディスプレーで立体視してみている人もいます。

　写真をもとに立体的な人物の3Dモデルを作るサービスを使って、Midjourneyが作った人物の画像を3D化している人もいます。

　さらにはArtbreederという画像生成AIで作った顔を組み合わせ、「Houdini」という3DCGソフトで立体化し、動きをつけてみている人もいます。

　風景画像について同じことをしている人もいますね。

　こうした技術の組み合わせによって、メタバースなどで使われるコンテンツの生成速度が飛躍的に向上する可能性があります。これはMidjourneyの新しさに注目が集まっていますが、すでに登場し、日進月歩している他のAIサービスや、3Dツールと組み合わさることで、さらに劇的に応用範囲が広がりそうなのです。

あらゆるデジタルコンテンツをAIが生成する未来

　このまま進歩が進んでいったらどんな世界が訪れるのか。

　それにはベンチャーキャピタル会社アンドリーセン・ホロウィッツのジョナサン・ライ（Jonathan Lai）が書いた記事が参考になりそうです。

https://a16z.com/2020/12/07/social-strikes-back-metaverse/

　記事の中には、コンテンツ制作は4段階の変化があるという図が登場します。第1段階はプロが作る。第2段階はアマチュアを含めてユーザーが作る。第3段階はAIがユーザーをアシストする。最後にはすべてをAIが作るというものです。

コンテンツ制作の4段階（ジョナサン・ライ）

　この中でいえば、現在は第3段階の「AI-assisted user-generated content（AIにアシストされたユーザー生成コンテンツ）」に限りなく近い状況にあるといえるのではないでしょうか。Midjourneyが流行し、派生する技術が次から次に出てきている今こそが、まさにこの段階に入っていることを示唆しているのです。

　今回はメタバースとAI技術をテーマにざっと話してきましたが、いつかそれぞれの技術について詳しく紹介したいと思っています。

 

筆者紹介：新清士（しんきよし）

1970年生まれ。デジタルハリウッド大学院教授。慶應義塾大学商学部及び環境情報学部卒。ゲームジャーナリストとして活躍後、VRゲーム開発会社のよむネコ（現Thirdverse）を設立。VRマルチプレイ剣戟アクションゲーム「ソード・オブ・ガルガンチュア」の開発を主導。著書に8月に出た『メタバースビジネス覇権戦争』（NHK出版新書）がある。

■関連記事