2021年に個人的に入手したガジェット類でとても気に入っており、いまだに使い続けているハードがあります。米Looking Glassの「Looking Glass Portrait」です。それはStable Diffusionとの組み合わせによって、その潜在能力が大きく広がったためです。
Stable DiffusionがLooking Glassの可能性を広げた
Looking Glass Portraitは、「ライトフィールド」と呼ばれる裸眼立体視を実現する同社の第2世代ディスプレー。第1世代に比べて、軽量化されたとともに表示領域が広がっています。3Dモデルを45~100通りの角度から見た画像に表示して、屈折レンズを通じ、そのうちの一枚を見ることによって立体感を実現。これにより、VRゴーグルなどを被らなくても、ディスプレー上で立体視ができる仕組みになっています(レンチキュラーレンズ)。
日本ではKickstarterを通じて大きな評判になっていたのですが、出荷時期にはコロナ禍の影響が直撃。半導体不足の影響を受けて出荷時期は当初予定よりも10ヵ月以上遅れ、イベントが自粛された影響で多くの人が直接見る機会が少ない状況でした。そのためクチコミも起こらず、大きな話題となることはありませんでした。なにせ、裸眼立体視のすごさは直接見ないと、その面白さがまったく伝わらないのです。そのため、初期に入手した人たちのなかには、商品は届いたけど一度も開封しないままという人も多いのではないでしょうか。
そんなLooking Glass Portraitでは非常に重要な機能が追加されました。深度情報(Depth)データと組み合わせれば裸眼立体視ができるようになったのです。たとえば、iPhone X以降のポートレートモードで撮影した画像は深度情報を持っているため、そのデータをLooking Glass Portraitに持ち込むと、立体写真を楽しめます。「Portrait」と名付けられた製品は、パーソナルな子供の写真などを記録などに残せるといったことを製品の売りとしていました。
このデータフォーマットが登場する以前は、「Quilt」と呼ばれる12~48枚の角度が違うカメラで撮影した画像を作る必要がありました。特によく使われていたのが、Unity内にプラグインで複数の画像を同時に撮影するカメラを設置して、リアルタイムに3Dキャラクターを表示させるといった手法です。立体視できるキャラクターとインタラクションできるというのは面白いのですが、手軽さはそれほどでもないという弱点がありました。
その点、2D画像と深度情報の組み合わせは手軽に扱えます。Looking Glassでも、1枚あたり0.2ドルで2D画像を立体視用に変換するサービスを展開していました。
2D画像から深度情報を検出する技術は、機械学習の効果が出やすいことが発見されたため、近年急激に研究が進んでいる分野です。
メタやグーグル、マイクロソフト、アドビといった大企業も精力的に研究をしていますが、特に画期的な研究として知られているのは2020年にドイツの研究者が発表した「MiDaS」という方式。複数の生成方式を組み合わせ、きれいな深度画像を作り出す方法です。オープンソースで公開されていることもあり、多くのサービスに組み合わされるようになりました。
このMiDaSを使った奥行き情報の生成機能が、昨年12月にStable Diffusionの拡張機能として登場しました。最新の研究の生成モデルも追加されており、一気に深度画像の生成が簡単になったのです。
この連載の記事
-
第61回
AI
画像生成AI“児童ポルノ”学習問題、日本では表現規制の議論にも -
第60回
AI
3Dアニメーション技術の革新が止まらない -
第59回
AI
政府、生成AI推進に向けて議論を加速 -
第58回
AI
画像生成AIで同じキャラクターが簡単に作れるようになってきた -
第57回
AI
日本発のリアルタイム画像生成AIサービスが熱い 大手にとっては“イノベーションのジレンマ”に -
第56回
AI
画像生成AIの著作権問題、文化庁議論で争点はっきり -
第55回
AI
動画生成AIの常識を破壊した OpenAI「Sora」の衝撃 -
第54回
AI
画像生成AI、安いPCでも高速に 衝撃の「Stable Diffusion WebUI Forge」 -
第53回
AI
日本発の画像生成AIサービスがすごい 無料アップスケーラー「カクダイV1」 -
第52回
AI
美少女イラスト、AI技術で立体化 ポケットサイズの裸眼立体視ディスプレーが人気に -
第51回
AI
“生成AIゲーム”急増の兆し すでに150タイトル以上が登録 - この連載の一覧へ