Windows Info 第132回

Hololensで知られるWindows Mixed Reality（Windows MR）とは？

Hololensで話題となったWindows MRとは？
ヘッドセットにはサードパーティー製もある

　「Windows Mixed Reality」（Windows MR）とは、具体的には、マイクロソフトのHololensと、同社の基本仕様に準拠して作られたハードウェアメーカーの販売する「Windows MRヘッドセット」（Immersive Headset）を使い、その上で動作するソフトウェアを含めたものを指している。

マイクロソフトのHololens

　一般にMixed Realityとは、AR（Augmented Reality、強化現実）とVR（Virtual Reality、仮想現実）をまとめた用語である。ARは、現実映像にコンピューターからの情報や画像を重ねることで、仮想的な世界を見せるのに対して、VRはコンピューターが現実のような画像を生成して提示する。

　実際には2つの間には明確な境界はなく、両者を合わせてMRと呼ぶ。マイクロソフトは、以下のような図を使って説明している。

マイクロソフトの説明によれば、MRとは「Physical Reality」（物理的な現実）と「Digital Reality」（仮想現実）を含むもので、具体的にはHololensとImmersive Headsetに対応している

　しかし、実際には、左右それぞれの位置で、機能、性能の違いがあり、下の図のような状態となっている。

仮想現実（Virtual Reality。VR）や強化現実（Augmented Reality。AR）は、「物理的な現実」と「仮想的な現実」の間にあり、インタラクションを現実と行なうのか、コンピューターと行なうのかといった違いがある。また似たようなものに「スマートグラス」（現実にコンピュータ情報をオーバーレイ表示する）、フォースフィードバックのある仮想現実などがある

　この中で、Hololensは、単体で動作する（PCに接続する必要がない）Windows 10プラットフォームであり、専用デバイスなどの助けもあり、比較的広い応用範囲を持つ。これに対してMRヘッドセット（マイクロソフトはImmersive Headsetと呼んでいる）は、Windows PCに接続して利用する周辺機器であり、その利用範囲は限られたものになる。

　HololensとImmersive Headsetは、同じWindows 10の上ではあるが、Hololensが周囲の現実画像を認識して、たとえば、机の上にあるように見えるオブジェクト（マイクロソフトはHologramと呼ぶ）を提示できるのに対して、Immersive Headsetでは、仮想の机の上にある仮想のオブジェクトが見える状態を作り出す。

　また、Hololensが単体で動作するコンピューターであるのに対して、Immersive Headsetは、一般のPCに接続して利用する。このとき、ある程度のGPU性能などが必要になることから、マイクロソフトは、対応PCのスペックを「Windows MR PC」と「Windows MR Ultra PC」に分けている。

	Windows Mixed Reality PCs （通常版）	Windows Mixed Reality Ultra PCs （高性能版）
OS	Windows 10 Ver.1709 (RS3) Home, Pro, Business, Education (NバージョンおよびWindows 10 ProのSモードは対象外)
プロセッサ	Intel Core i5-7200U （2コア以上）	Intel Core i5-4590 AMD Ryzen 5 1400 （いずれも4コア以上）
RAM	8GB DDR3
GPU	内蔵:Intel HD Graphics 620以上 外付:NVIDIA MX150、NVIDIA 965M、AMD Radeon RX 460/560以上	NVIDIA GTX 1060以上 AMD RX 470/570以上 ※PCIe 3.0 x4+ Linkスロット利用
ドライバー	Windows Display Driver Model (WDDM) 2.2 DX12必須
ディスプレイ出力	HDMI 1.4 or DisplayPort 1.2	HDMI 2.0 or DisplayPort 1.2
USB	USB 3.0 Type-A or Type-C
Bluetooth (モーションコントローラー用)	Bluetooth 4.0以上
想定フレームレート	60Hz	90Hz

　簡単に言えば、強力なGPUを搭載したデスクトップPCがUltraであり、内蔵グラフィックスのノートPCでは簡易なレベルとなる。両者の違いは、画面更新のフレームレートにある。ヘッドセット自体は同じなので解像度は基本的に同じ。しかし、Ultra PCでは、90Hzのフレームレート（ただし、推定値）が可能なのに対して、通常版Windows MR PCでは60Hzまでとなる。

　Hololensは、外界認識用のカメラを持っているため、ユーザーの指の動きなどを検出して「ジェスチャー」を認識することができる。これに対して、Immersive Headsetには、外界認識用のカメラがないため、Bluetoothを利用して「モーションコントローラー」を接続して利用する。

　モーションコントローラーは、ヘッドセットがその位置を認識できるようになっており、両手に持って、手の動きをトラッキングできるとともに、コントローラーにあるボタンなどを使って、操作が可能だ。また、Hololens、Immersive Headsetともにマイクを持ち、音声コマンドを利用することができる。

　なお、Immersive Headsetには、接続しているPCを中心にケーブルの届く狭い範囲でのユーザーの移動をサポートしている。2メートル四方ぐらいの範囲であれば、Immersive Headsetを付けたままユーザーは歩くことはできる。しかし、実際の利用場所で事前に移動範囲（これを「境界」という）を指定しておく必要がある。

Windows MR ヘッドセット（Immersive Headset）では、ケーブルの届く範囲で歩いて利用することも可能。ただし、事前に可動範囲を指定しておく必要がある

　これは、無制限に移動させてしまうと、Immersive Headsetは周囲が見えないために壁や机などにぶつかってしまう可能性があるからだ。

Windows 10に付属するWindows MRのシェル

　Immersive Headsetを利用するには、PCで、Windows 10付属の「Mixed Realityポータル」を起動する。

Mixed Realityポータル。Immersive Headsetを使う場合にデスクトップ側で制御を行なうプログラム。このMRポータルを起動することでHeadsetが有効になる

　初回起動時には、PCのスペックチェックやヘッドセット、モーションコントローラーの接続などを実行する。

モーションコントローラーは、BluetoothでPCと接続し、Headset側で位置を測定する。スティックとタッチパッド、ボタンなどを備え、手に持って、MR空間内での位置や方向を示す

　起動すると、「Cliff House」と呼ばれる仮想的な「家」が表示される。

MR空間内でのデスクトップに相当する「Cliff House」。ここからMRのプログラムを起動できるほか、Windowsのプログラムを起動することもできる

　これは、Windowsのデスクトップに相当する「場所」だ。この家の中に、アプリのショートカットに相当するオブジェクトを置いたり、あるいはEdgeやMicrosoft StoreといったUWPアプリのウィンドウを配置することができる。Windowsのデスクトップは2次元だったが、MRでは、3次元になっているわけだ。モーションコントローラーを使うことで、この中を自由に動き回ることができる。事前に「境界」を指定してあれば、実際に歩いて移動することも可能。

　モーションコントローラーは、Immersive Headsetとの相対的な位置関係を測定でき、ヘッドセット内に「仮想的」なモーションコントローラーの位置や姿勢がそのまま表示される。

ヘッドセット内には、仮想的なモーションコントローラーが表示される。スクロール操作が可能な場合には、タッチパッドに矢印が表示されたり、ひっくり返すとバッテリー残量が表示される

　なお、この仮想的なモーションコントローラーは、操作ガイドも兼ねており、たとえば、ウィンドウ内でスクロールが可能な場合には、仮想的なモーションコントローラーのタッチパッド部分に表示が出る。また、仮想的なモーションコントローラーをひっくり返してバッテリーカバー部分を見ると、電池残量が表示されている。

　WindowsキーやモーションコントローラーのWindowsボタンを押すと「スタートメニュー」が表示される。これは、アプリケーションの起動などを行なうもの。また、ここからMR空間内での静止画、動画キャプチャも起動可能だ。

モーションコントローラーのWindowsボタンを押すと「スタートメニュー」が表示される。ここからアプリが起動できる

　Immersive Headset側で「Cliff House」を使っている間、デスクトップは入力を受け付けない状態となり、たとえば、キー入力をするとそれは、Cliff House側に送られる。デスクトップとCliff Houseの切り替えには、「Windowsロゴキー」とYキーを同時に押す。また、Cliff House側でウィンドウとしてデスクトップを表示させることも可能だ。この機能を使うことで、デスクトップアプリケーションを起動することができる。

　ただし、Cliff House内では、どのウィンドウも最大サイズに限界がある。このため、表示の細かなデスクトップアプリを利用するには、最大化したうえで利用することになるが、小さな字を見るためには、ウィンドウに近づかねばならず、そうすると全体が見えにくくなる。

　Cliff House内では同一アプリを複数ウィンドウ表示させることができるが、単一のインスタンスしか実行できないアプリ（たとえば、Microsoftストアアプリは1つだけしか起動できない）は、ウィンドウは複数表示されるものの、利用できるのは１つだけとなる。

　なお、開発者向けに、Immersive Headsetやモーションコントローラーのエミュレーター（WindowsのSDKに付属）があり、これを使うと、デスクトップで実行されたいるMixed Realityポータルに画像を表示し、マウスやキーボードで操作することも可能。

Visual Studioなど、Windows SDKを入れた場合には、ヘッドセットやモーションコントローラーのエミュレーションできる。操作には、キーボードやマウス、あるいはゲームパッドなどが利用可能だ

　スペックが高い「Windows Mixed Reality Ultra PC」では、デスクトップ側で実行しているMixed Realityポータルに、Immersive Headset側で見える画像を表示させることも可能だ。このほか、デバイスポータルを使うと、Immersive Headsetやモーションコントローラーの位置や向きを得ることもできる。

デバイスポータルでは、ヘッドセットやモーションコントローラーの向きや姿勢を表示できる

　次回は、具体的に機材を使ってWindows MRをもう少し詳しく見ていくことにする。