新清士の「メタバース・プレゼンス」 第2回

あらゆるデジタルコンテンツをAIが自動生成する未来：

もし画像生成AI「Midjourney」がメタバースに実装されたら

AIは「派生技術」がカギになる

　このようにメタバースやゲームはAIによってサポートされている部分がとても多い世界です。それではこれからMidjourneyのように画期的な画像生成AIサービスがメタバースに実装されたらどんなことが起きるのでしょうか。

　Midjourneyは急激にその存在が知られるようになりましたが、深層学習モデルを利用して、AIにイラストを描かせるものとして、商用レベルと考えても使い物になる画像を簡単に生成できると、高い注目を浴びています。単にイラストを描くというだけでなく、それらを別のコンテンツへの派生利用の可能性も見えてきているため、非常に高い可能性が感じられるのです。

　すでにMidjourneyが爆発的に注目を浴びてから、派生して様々なことが起きています。そのデータを別のものに転用できないかという試みが出てきています。

　たとえばMidjourneyでダンジョン系のゲームに使われるタイルを生成した人がいます。これに奥行き情報を持たせ、PhotoshopでNormalMap（3Dモデル表面のテクスチャ情報）の情報を作成すれば、データをUnrealEngineといったゲームエンジンにもっていけば、入れればそれだけで立体になります。外部に発注したら1〜2週間かかっていた素材が3分余りでできてしまいます。

昨日教えていただいた「Dungeon Tiles」の呪文すごいなぁ。
花とか飴とかドクロとか苔とか宝石とか色んなものを足して遊べる。要ウェイト調整。

これは花模様がでるやつ。
「Dungeon Tiles, flower::5, highly detailed, 4k texture」#midjourneypic.twitter.com/RqtBmhgrMx

— ぴぽ (@pipohi) August 9, 2022

　Midjouneyのデータを他のアプリケーションで使いやすくするためには、Depth情報を作り出して組み合わせるという方法があります。これも深層学習を通じて作られたAIなのですが、AIに解析させることで、2Dの画像だったものに立体情報を追加していくことができるのです。この分野も技術革新のペースが速いものです。1年前に発表された方法は無料で使用することができます。

Boosting Monocular Depth Estimation Models to High-Resolution via Content-Adaptive Multi-Resolution Merging
http://yaksoy.github.io/highresdepth/

　そうしてDepth情報を与えたMidjourneyの画像を「Looking Glass Portrait」というホログラフディスプレーで立体視してみている人もいます。

#midjourny の画像を #LookingGlass Factory社製の2Dto3Dコンバーターで変換して、HoloPlay Studioで見ると立体に見える！！！ pic.twitter.com/03wW1HmCvG

— ザバイオーネ (@z_zabaglione) August 7, 2022

　写真をもとに立体的な人物の3Dモデルを作るサービスを使って、Midjourneyが作った人物の画像を3D化している人もいます。

#midjourny から人物の3Ｄモデルできた pic.twitter.com/X0XzHaVWhz

— ドコロ@UEゲーム制作 (@dokoro2136) August 8, 2022

　さらにはArtbreederという画像生成AIで作った顔を組み合わせ、「Houdini」という3DCGソフトで立体化し、動きをつけてみている人もいます。

#midjourney がお演算なさったコンセプトにartbreederのお顔を合成して#houdini で動かす pic.twitter.com/46rttNbJBy

— hedoro (@hedoro_fabric) August 11, 2022

　風景画像について同じことをしている人もいますね。

#midjourney で生成した画像を、Boosting Monocular Depth Estimation Models to High-Resolution via Content-Adaptive Multi-Resolution Mergingでデプスを求め、#Houdini で立体化。 pic.twitter.com/nwT8szIfmm

— Akira Saito (@a_saito) August 4, 2022

　こうした技術の組み合わせによって、メタバースなどで使われるコンテンツの生成速度が飛躍的に向上する可能性があります。これはMidjourneyの新しさに注目が集まっていますが、すでに登場し、日進月歩している他のAIサービスや、3Dツールと組み合わさることで、さらに劇的に応用範囲が広がりそうなのです。