ロードマップでわかる！当世プロセッサー事情 第853回

7つのカメラと高度な6DOF・Depthセンサー搭載、Meta Orionが切り開く没入感抜群の新ARスマートグラス技術

カメラをセンサーに利用する

　下の画像がこのWLRを実装するための処理の流れである。DoFに関してはIMU(Inertial Measurement Unit:慣性測定装置)を使って計測するが、DoFとHand Poseは主にカメラを利用することになる。

IMUは昔はジャイロなどを使っていたので大型で重量も重かったが、最近はMEMS技術の進歩でARグラスにも無理なく収まるようになった。Depth Sensorsに関しては、次の写真を見る限りステレオカメラベースに思える

　なお、Depth Sensorsもここでは別になっているが、おそらく実装としてはカメラベースになる。技術的には超音波やレーザー・レーダーなどでも可能だが、精度と検索距離、コストなどを勘案するとカメラベースが一番妥当だろう。

　下の画像がOrion Glass、その下の画像が実際の機器構成となる。Application ProcessorとCoprocessorはポケットのPuckに収められ、Display Processor×2とGlasses ProcessorがARグラスに内蔵される。

これは左側だけだが、おそらく右側にも同じようにカメラが1つ(DoF用)、また右側面にもカメラがあるだろう。前面は、外側がDoF用、内側が画面(左目映像)用、外向きのものは左目の側面用だろう。頭の位置を固定したままで左をにらんだ場合にも映像がちゃんと表示されるために側面カメラが必要になる。つるの方の小穴は外界音声入力用マイクだろう

おそらくリストバンドはIMU+Bluetooth程度の最小構成で、それ以上の機能は搭載されていないはずだ

　リストバンドはHand tracking/Posingの検出用と考えられる。複数個のカメラやマイクの映像/音声の管理はGlasses Processorが担っている格好で、Glasses ProcessorとApplication Processor/Coprocessorは双方向で結構な量の通信をしていると考えられる。

　初期のARグラスは、これをケーブル接続で行なっていたのは通信量を考えると無理のない話だが、当然装着性に支障がでる。Wi-Fiベースで通信量が抑えられるように工夫したのか、短距離と割り切って信号出力を抑えたWi-Fi 7などを使うことで通信速度と消費電力のバランスを取ったのか、個人的には興味があるところだ。

　さて、Orionでは上の画像にある黄枠のプロセッサー3種類を新規に起こしたとしている。Application Processorに関しての説明はなかったが、Hot Chipsでのデモ動画の自転車トレーニングの方を見るとAndroidが動作しているようなので、既存のSoC(Snapdragon ARシリーズあたりが結構怪しい)を流用したものと思われる。

　Glasses Processorの内部構造が下の画像だ。ML Acceleratorは、その脇のComputer Visionのブロックと連携して動作するものと思われる。

ET&HTはEye TrackingとHead Trackingの意味。もっともこのブロック図にはその部分がないが、IMUを接続するI/Fがどこかにあって、そこにHTもおかれているのだろう。ETの方は、ARグラスの内側に2つ(左右ひとつづつ)搭載されているものと思われる。それにしても全ブロックMCUの山である

　またホストとの映像の送受信はHEVC圧縮をかけているとする。外部メモリーとしてはLPDDR4XとNVM Flash(UFSあたりな気がするが詳細は不明)を利用するが、SiPの形でワンパッケージに収めているというのはARグラスに収めることを考えれば妥当だろう。ちなみにカメラが7つというのは以下の理由かと思われる。

• 外部映像撮影用(正面、左右各1、カラー)
• DoF用(正面に2つ、モノクロ)
• Eye Tracking用(両目に1つずつ、モノクロ)

　製造プロセスは5nmで24億トランジスタとされている。結構SRAMが多いので単純に比較は難しいが、同じ5nmプロセスで79億トランジスタのZen 5のCCDが70.6mm²で、半分近くがL3キャッシュなこと　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　を考えると、このGlasses Processorのダイサイズは21.5mm²前後ではないかと想像する。

　寸法としては5.4×4.0mmといったあたりか。明らかにこれはLPDDR4xのダイ(最小のものでも46mm²前後)やNVM Flashより小さいので、実際のパッケージサイズはLPDDR4xないしNVM Flashのサイズで規定されることになっていそうだ。