徹底解説！Mixed Reality
HoloLens 2 & Azure MR Services & Dynamics 365 MR Biz Appの法人利用
2019年08月20日 10時00分更新
先日、MicrosoftさんでMixed Realityの講義を受けてきました。Microsoftさんのde:code 2019というイベントで登壇された4つのセッションの集合体を、なんと50分でやってくれるという神業。HoloLens 2の実機はまだ日本にないらしく、今回はHoloLens 1を使ってデモをしてくれました。HoloLensを法人でどうやって活用できるのかという点は、これまでなかなかイメージしづらいというのが正直なところでしたが、具体的な例をお話しいただいてとてもよかったです！では具体的に説明していきますね。
耳タコですが、Mixed Reality（複合現実/MR）の前提のお話
ハードウェアの観点からお話しすると、次世代コンピューティングプラットフォームが日々進化している中で、PCやスマートフォンなどのデバイスは、『画面（ディスプレイ）越し』にインターネットの世界へアクセスします。
仮想現実と呼ばれるVirtual Reality（VR）はどうかというと、実はこれも没入感が高いけれどやっぱり『画面越し』の世界。仮想世界の中にリアルな登場人物として自分が入り込んでいないということなんですね。
それに対してMixed Reality（MR）は、インターネット空間とディスプレイとの間に垣根がなく、物理世界（現実世界）とデジタルの世界を融合し、ユーザーは物理世界にいながらデジタル世界とのやり取りができます。『画面越し』の世界から一歩抜け出した状態なんですね（←ここ大事）。
MRの捉え方は人によって差があるかもしれませんが、わたしはこの説明がわかりやすかったです。
Mixed RealityデバイスであるHoloLens 2の驚きの機能
ではここからがHoloLensのお話。HoloLensには、「究極のMRデバイスを活用して業務をスマートに！」というテーマがあるそうです。HoloLens 2の機能面での進化はこちらの「Microsoft HoloLens 2はポストスマートデバイス時代の旗手となるか？」ブログをご覧ください。
上記ブログに書いていない部分で個人的にすごい！と思ったことは、アイトラッキング機能。HoloLens 2のゴーグルの内側で、実は黒目の動きを検知しています。
視点誘導について、これまでHoloLens 1では頭部辺りについていたセンサーで行っていましたが、2はなんと！目の動きだけで視点誘導ができるようになったんです！これは驚き！しかもかなりスムーズ（わたしはBuildで体験しました）。
また、瞳の虹彩で個人を特定することができます。例えば、“ある作業は特定の人しかできない”というような制限を設けたい場合に、HoloLens 2を装着して虹彩で認証し、本人の作業の範囲を判別するというような使い方もできるようです。
HoloLensの活用シナリオ
ではここからが今回のメインの HoloLensを実業務にどう活かすかというお話。以下のような用途で活用できます。
- 遠隔支援
- トレーニングや作業支援
- ３Dカタログ業務支援
- 空間設計シミュレーション（うろ覚えのためここでは触れません）
ビジネスアプリケーションと組み合わせた活用について、これから具体的に説明していきます。
遠隔支援 Dynamics 365 Remote Assist
Remote Assistは簡単に言うと、HoloLensと遠隔地のPC等のデバイスを繋ぐことができる機能です。その裏ではMicrosoft Office 365 の TeamsとDynamics 365を活用。具体的にはTeamsの持っているテレビ会議機能に、HoloLensの空間書き込み機能を繋げているそうです。例えば、両手フリーの状態で、会話をしながら空間に何かを書き込むという作業ができます。
実はDynamics 365にはフィールドサービスというものがあります。これは、自社内のスケジュールや現場作業員の経験・スキル、また顧客のステータスまで管理できるため、依頼ごとに最適な人員配備を行うことができ効率の良い業務をサポートしてくれるものなんですね。
このフィールドサービスとHoloLensをTeamsを使って連携させることで、作業中のHoloLensの画面上に、現在直面している状況に合わせたエキスパート人材が出てきて、離れた場所から問題の効率的なトラブルシューティングをしてくれるということもできるんです。
具体的な活用シナリオは、現場を引退した人でも、PCやスマホがあれば これまで培ってきたノウハウを活かし、 エキスパートとして遠隔地から支援ができるということ！まさに新しい雇用形態につながるわけですね。これは新しい視点！
作業支援 Dynamics365 Guides
Guidsは、現実世界の空間に映像を使って作業手順書（作業ガイド）を表示することができる機能です。そしてその作業ガイドには写真・動画・音声を添付することができ、その空間に表示される作業手順に従って、ステップバイステップで作業を行うことができる、というもの！
デモが面白かったのでご紹介しますね。まず空間に作業手順の画面が現れています。ここでは「作業場所に移動してください」と表示されています。
空間に作業手順が出ています。
↓ちょっと見えづらいのですが、画面から白い点線が見えていますね。その点線を追っていくと……
白い点線が出ています。
↓立ち位置の印がありました！移動してほしい作業場所を示してくれています。ここに足を合わせるわけですね。
作業場所が示されています。
↓画面を進めると、続いては「ポンプの電源をオフにしてください」と表示されています。白い点線も誘導してくれていますね。
画面表示と白い点線
↓作業位置を把握したら、ポンプの電源をオフにする、と。人差し指の立体が現れ、電源の位置を示してくれていますね。
ポンプの電源はここですよ、という図。
これなら新人でも間違えずに作業することができますよね！そして、各ステップごとの作業時間等のデータが記録されていて、 Power BIというサービスと組み合わせることで、作業にかかった時間などを可視化できます。
要は、個々人の苦手な作業ポイントなどを見つけることができて、複数人でも同じようなデータが取れた場合に非効率な場所として分析し、改善につなげていくことができるわけなんです。めっちゃ便利。
Power BIで可視化。
3Dカタログ業務支援 Dynamics365 ProductVisualize
この機能は、実空間の中に3Dカタログを埋め込むことができ、そして空間の中に直接書き込むことができるそうです。Dynamics for Salesと連携すると、顧客への提案の際の会話やフィードバックを記録することができ、Dynamics 365のワークフローを動かせば、商談しながらその場で上司の承認をとることもできるとのこと。少しうろ覚えなので、また詳しく調べたいと思います。
ビジネスアプリケーション概要についてはこんな感じ。
Mixed Reality サービス概要
実はここからもおもしろいところ！
Spatial Anchors（スペーシャル・アンカー）というものがあります。これは、HoloLensやiOSのAR Kit / AndroidのAR Coreを使って、3D空間をマルチデバイスでコンテンツ共有することができるんです。要は、複数の人が同じモノを見ることができるんですね。 そして実行しているアプリを終了した場合でも、そこに存在していたものは、明示的に消すまで存在させ続けることができるのです。
こちらもデモがおもしろかったのでご紹介。2つのデバイスを用意します（左と右画面に分かれています）。まず1つ目のデバイス（画面左）のARキットで空間をスキャンし（すごーーく見えにくいですが黄色い点がたくさんあり空間をスキャンしています）、グレーのにこちゃんマークを置いてAzure上に保存。
左画面のデバイスで空間をスキャンし、にこちゃんマークを置く。
その後右の方の別デバイスでも同じように、黄色い点々である程度空間をスキャンします。すると同じグレーのにこちゃんマークが現れます。まさにマルチデバイスで空間が共有されているというわけです。
右画面のデバイスで空間をスキャンすると、同じにこちゃんマークが現れました。
アンカー同士を繋いで行き先を誘導できるので、企業向け活用シナリオとしては大規模施設の中で荷物の移動先を誘導してあげることもできます。
また、データベースであるCosmosDBに保存することで大規模共有が可能。コンシューマ向け活用シナリオでは、アンカー情報をHoloLensから音で知らせることで、目が不自由な人の支援などができ、どの道を通ってどの会議室へ行き、どのイスに座ってください、というような誘導もできるんです。
ちなみにスペーシャル・アンカーの開発環境はUnityだそうです。
こちらにスペーシャル・アンカーを活用した「Minecraft(マインクラフト)」の新ゲームの動画があります。これは拡張現実(AR)の力を借りてマインクラフトの世界を現実世界に降臨させるスマートフォン向けARゲームです。興味がある方はご覧ください！（MRとARの違いは長くなるのでまた今度……）
今日は講義で聞いてきた内容を書かせていただきましたが、また新しい情報が入ったらアップデートしていきますね。
※本記事はFIXERのTech Blogからの転載です。
