ロードマップでわかる！当世プロセッサー事情 第853回

7つのカメラと高度な6DOF・Depthセンサー搭載、Meta Orionが切り開く没入感抜群の新ARスマートグラス技術

　今回はMetaのOrionを取り上げたい。Orionは厳密にはプロセッサーの名前ではない。2024年9月にMeta Connect 2024で紹介された次世代ARスマートグラスの名前がOrionであり、これに搭載されるプロセッサーの名前は未公開なので、今回は全体の総称としてOrionとしておきたい。なお、説明でもDisplay Processor、Glasses Processor、Compute Coprocとだけ説明されている。

Orion

Metaが開発する次世代ARスマートグラス「Orion」

　Orionでどんなことが可能になるか？　という実例は短い動画が2本(https://www.youtube.com/watch?v=HkdSv3QPhNw)(https://www.youtube.com/watch?v=el7lUVvu8Bo)上がっているのでこちらをご覧いただく方が早いだろう。

　ちなみにOrion、Metaのサイトにはページはあるが、少なくともOrionの世代での商品発売はない模様だ。Orionのページにも「Orionは単に未来を示すものではなく、現在実際に製品として届けられる可能性を提示したものでもあります」とあるあたり、それが明白だ。

　さてOrionはARグラスであり、WLR(World Lock Rendering)を実現するためのデバイスである。WLRを簡単に説明すれば、仮想のオブジェクトを現実世界の特定の場所に固定(Lock)し、ユーザーが頭を動かしてもそのオブジェクトが常に同じ位置に見えるようにする技術である。

これは先に示した動画のクリップを抜き出したもの

　上の画像を見てもわかりにくいかもしれないが、Hot Chipsにおけるデモ映像の1時間08分30秒あたりから始まる映像の猫やソファがWLRで生成されたものだ。

　もう少し生きた使い方は、1時間09分25秒あたりから始まる自転車トレーニングのもので、実際の走行映像やルートなどを目の前にレンダリングして表示するというのは、わりとARの使い方としてアリだろう。

　では、WLRを実現するために必要な要素はなにか？　というのが下の画像だ。これを簡単に説明するとその下の表になる。

WLRを実現するために必要な要素。これはOrionだけでなく、ARグラスと呼ばれるものに共通の要件である

WLRを実現するために必要な要素
6DOF(Degrees of Freedom:自由度)	頭のX/Y/Z軸の移動量及び角度の検出。これで視線の向きを検出する。
Depth image	対象物との距離の検出。現実空間での目の前の対象物との距離を測定することで、例えば目の前に壁があるとすればそれを検出できる。単にカメラで目の前の映像だけを撮影しても、それがどのくらい奥にあるのかはわからないから、距離の検出が必要となる。
Rendering	現実の映像にARオブジェクトを重ね合わせるために、ARオブジェクトのレンダリングをしないといけない。
Composing	ARオブジェクトと現実の映像の重ね合わせ。先のDepth imageの情報を基に、ARオブジェクトが対象物の手前に来るならARを手前にレンダリングするし、後ろならARオブジェクトの一部が実際の映像で隠されるようなレンダリングになる。
Hand Tracking and Posing	ARオブジェクトも手で操作する形になるので、手の位置や手の操作(例えばスワイプやタップなど)を認識する必要がある。
Audio Spatial Rendering	頭の位置に応じて音の鳴り方は当然変わってくる。例えば車のレースゲームで後方から追い抜かれる時、右から抜かれるか左から抜かれるかで聞こえてくるライバル車のエンジン音の聞こえ方が変わるという話で、そうしたものをきちんと対応する必要がある。

　また一体感を高めるためには操作→画面反映までのレイテンシーを極力減らさないと、常に動作にタイムラグが生じて不自然感が拭えないし、消費電力が多いとすぐにバッテリーがなくなるし、発熱で着用が難しくなったりしかねない。

　あとここにはないが、これをARグラスに収める必要があるため、かなり小さくまとめないといけない。