新清士の「メタバース・プレゼンス」 第52回

美少女イラスト、AI技術で立体化　ポケットサイズの裸眼立体視ディスプレーが人気に

iPhoneで撮った写真を3Dデータに

　新型モデルと言えるLooking Glass Goと、前モデル「Looking Glass Portrait」の最大の違いは、薄くて軽くなったこと。サイズ的にはiPhone 15 Proに近いサイズなので気軽に持ち運ぶことを想定しています。専用バッテリーも用意され、スマホと同じように扱うことができます。

　Looking Glass Portraitはそれなりに大きいので、片手で持って動かすといった取り回しに限界がありました。それができるだけでもハードとしては相当便利なものになっています。昨年12月のイベントで見た印象としては、Looking Glass GoとLooking Glass Portraitを比べると、相当薄くなっていることがわかりました。

Looking Glass Go（左）とLooking Glass Portrait（右）との比較。小型化と軽量化が進んでいることがわかる。Goのケーブル差込口は、最終設計では背後に変更になる

　薄型化・軽量化によって色々と限界もあるはずです。Looking Glassは光の反射をコントロールするために薄い層を重ねる方式なので、立体感を増すためにはモニタサイズが厚くなりがち。Looking Glass Goは、Looking Glass Portraitよりも薄くした分、奥行き表現は限界があるように見えます。しかし、見る角度による左右の変化を強調するようになっているようです。さらに解像度が大幅に向上されているためもあってか、鮮明な裸眼立体視が感じられました。

　裸眼立体視の弱点は、VR系の画像と同じく、実物を見ないとその立体感がわかりにくいという点があるのですが、左右の動きによって、動画で撮影しても奥行き感がわかりやすくなっている印象があり、工夫がされているように見えます。

3Dガウシアン・スプラッティングの表示に対応

　そして、これまでになかった大きなポイントは、Luma AIとの提携によって3Dガウシアン・スプラッティングの表示に対応したことです。iPhoneのLumaAIのアプリを使って写真を撮影し、一度3Dデータを作成すると、Looking Glass Goにデータを転送し、立体感ある画像として見られます。Luma AIに投稿されたデータはすべて表示できるようです。

sugoiiiiii!!!!! 🌺🌼💐 pic.twitter.com/WnM2Wguv4w

— Looking Glass (@LKGGlass) December 7, 2023

^{▲筆者が以前、Luma AIの3Dガウシアン・スプラフティングデータを使って作成した造花を撮影した3Dデータを、Looking Glass Goで表示}

　また、元々ある機能として、通常の2D画像からDepthデータを生成して、立体視が可能なデータとして表示することもできます。写真を送れば数秒で立体映像として出せて、iPhoneで撮った写真がすぐに立体的に見られます。さらに、PCにつなげても3D画像を表示する小型モニターとしても使えるわけです。外部のDepth生成アルゴリズムを使って生成したものもそのまま表示できると思われます。Depthアルゴリズムの研究も日進月歩で進歩している分野です。

　例えば昨年12月に、Depthデータを非常にきれいに生成できるアルゴリズム「Marigold（マリゴールド）」という研究がチューリッヒ工科大学から出てきました。これまでのDepth生成アルゴリズムよりも、特に近いものを鮮明に検出することに強い技術です。実際、Midjouneyで生成した複雑な形のスケルトン風キャラクター画像をMarigoldのデモページで出力したみたところ、非常に骨のような細かい部分までしっかりと表現されていました。

左の画像をMarigoldで出力（中央）。2022年の画期的なDepth研究MiDaS（右）に比べて、さらに細かい部分まで詳細にディティール化されている。約2年でさらに研究は進んできている

　実際に、これをLooking Glass Portraitに表示してみると立体感を十分に感じることが映像からも感じられるはずです。

これは相当高性能なDepthかも。特にMidからの変換は動画でも、細部のディテールの立体感が完全に判別つくほど、立体感がわかる。生成時間が30秒かかるが質は高い #LookingGlassPortrait#LookingGlassGo で見るのが楽しみ https://t.co/KBbDWaC9aPpic.twitter.com/e94HyOe7HG

— 新清士@(生成AI)インディゲーム開発者 (@kiyoshi_shin) December 9, 2023

^{▲前半はDALL-E 3で生成したアニメっぽい画像。女性のサンプルは9秒以降}

　Marigoldは、アニメ系画像では平たくなってしまう傾向がありますが、実写系画像からは非常に美しいDepthデータを生成してくれます。ノードベースの生成環境であるComfyUIで利用できる環境も登場してきています。

　また、先月には、香港大学やTikiTokの共同研究の「Depth Anything」も発表されています。生成時間の短さを確保しつつ高画質を目指したもので、Depthアルゴリズムの進化も日々続いています。

すでにDepth Anytingは、Stable Diffusionの一般環境であるA1111に統合されており、ControlNetの機能として使うことができる