ロードマップでわかる！当世プロセッサー事情 第853回

7つのカメラと高度な6DOF・Depthセンサー搭載、Meta Orionが切り開く没入感抜群の新ARスマートグラス技術

3種類の新たなプロセッサーが連携して処理を実行する

　Glasses Processor内部の処理の流れが下の画像である。結構激しく共有メモリーを介してデータをやり取りしており、逆に言えば共有メモリー内部でこうした動きを抑えられているからこそ低消費電力で抑えられているということなのかもしれない。

その代償はおそらくARイメージの解像度の低さである。実際デモ画像を見ても、あまり解像度が高いようには見えなかった。多分解像度を上げると共有メモリーでは足りずにLPDDR4xを使うことになり、消費電力増加はフレームレート低下が発生するのであろう

　次がDisplay Processorである。こちらは最終的な映像イメージをARグラス内部の液晶に投影する作業がメインであり、それほど複雑な処理は必要ない……はずであるが、それでもこちらも結構大規模なSRAMを搭載しているのは、Reprojection(左右別にイメージの再生成:カメラ画像にARイメージを重ね合わせ)に相応の処理が必要になるためと思われる。

音声入出力もこのDisplay Processorが担っていることがわかる。配置を考えればこれは当然だろう

　とはいえトランジスタ数は11億個とGlasses Processorの半分未満のサイズに収まっている。Boot ROMがMCU Subsystemに置かれているのは、このBoot ROMが起動して外部I/F経由で(おそらくGlasses Processorに積層されたNVM Flashから)プログラムを読み込む形になっているのだろう。

　これによりDisplay Processorは無駄にパッケージサイズを大きくすることなく実装できる(ダイサイズは10mm²未満だろう)ものと思われる。

　もう1つがCompute Coprocessorである。ここが処理のメインとなる部分で、前ページ最初の画像で言えばCompute DepthとCompose and Projectionの大半、Audio Spatial Renderingの大半がここで行われることになると思われる。

トランジスタ数は57億個なのでダイサイズも相応に大きくなっている(51mm²程度？)と思われるが、それよりもPower Domainが76もあることに驚きである。そこまでPower Gatingをしなければいけないほどに省電力化へのニーズが高いということである

　少し気になるのは、Glasses ProcessorとCompute Coprocessorの両方にComputer VisionとMLユニットが搭載されていることだ。消費電力を考えると、Glasses Processorの方ではそれほど多くの処理はせず、メインはCompute Coprocessorで処理することになると思うのだが、であればなぜGlasses Processorの方にもComputer VisionやMLが含まれているのかという話である。

　おそらくは、Compute Coprocessorに送って処理して戻すのではレイテンシーが大きすぎるような処理があって、それをGlasses Processorで処理することで見かけ上のレイテンシーを低く抑えるというあたりが目的だろうとは思うのだが、具体的にどんな処理がこれに該当するのかが想像できない。残念ながら講演の中でもそうした細かい話は説明されなかった。

　下の画像が処理フローであるが、これを見る限りホストとなるApplication Processorとは普通にPCI Expressと接続されているようだ。またARのイメージそのものはApplication Processorで生成され、その映像がMIPI DSI経由で取り込まれる格好になっているとみられる。

High Speed I/OのブロックにLMEM(Local Memory)が入っているというのは、Local Memoryの主な用途はI/Oのキャッシュということになる。ただブロック図を見ると、そこまで大きなSRAMブロックはないように見える

　これらを駆使することで、AR体験を実現可能になったわけだが、確かにこれはこのまま商品化するのは難しいかもしれない。少なくともAR Imageの解像度でフルHDはほしい(現状はSD解像度+α程度？)し、バッテリー寿命がどの程度かも一切公開されていない。

この画像からも、AR Imageの解像度がそれほど高くないことが見て取れる

　また示された動画も、頭をそれほど激しく動かしておらず、すでに販売されているVR Glassほどの動作追従性があるかどうかは怪しい。とはいえ、製品化前の試作品のためにわざわざ5nmでカスタムチップを3種類も製造するという莫大なコストをかけているあたりにMetaの本気度も伝わってくるわけで、将来の製品版ではさらに内部構造が洗練されてくるのかもしれない。

　いずれにせよ、AR Glassを実現するためにはこの程度のシステムが最低でも必要になる、という実装例が示されたことは興味深いと言えるだろう。