ホロラボ・西松建設　XRを活用したドローン作業支援と空撮映像への３Dモデル重畳技術を開発

ホロラボ
-BIM/CIMとリアルを融合、XR施工管理プラットフォーム実現に向けた要素技術を検証-



株式会社ホロラボ（東京都品川区、代表取締役CEO：中村 薫、以下「ホロラボ」）は、西松建設株式会社（東京都港区、代表取締役社長　高瀬 伸利、以下「西松建設」）との共同研究として、ドローンによる空撮映像に3Dモデルをリアルタイムで重畳し、ヘッドマウントディスプレイと連携して施工の可視化、ドローンの操縦支援を行なう技術を開発しました。


施工段階において3Dモデル（CIMモデル）を活用した生産性向上、現場管理業務の効率化が活発化し、その活用方法のひとつとして、現実世界にCGによる視覚情報を重ねるAR（Augmented Reality:拡張現実）技術があり、施工状況のイメージを共有して、早期の課題把握や改善策提案、施工の手戻りの抑制といった効果が期待できます。しかし現行のAR技術はスマートフォンやタブレット端末、ヘッドマウントディスプレイ等による用が主であるため、地上からの主観視点に限られていて、計画全体を見渡すことは困難で、そのためには高所に足場を用意して登らなければならず視点は限定的なものでした。また複数個所に渡って確認するためには現場内を移動して地点ごとにARの位置合わせをする必要がありました。
これらの問題を解決するべく、位置や距離の影響を受けず高速移動が可能なドローンを活用した、自由視点での3Dモデル重畳技術の開発を行ないました。（共同特許出願中）

マーカーを必要としない位置情報取得
ARの重畳のためにはQRコードなどのマーカーを使用した手法が一般的ですが、今回の研究ではDJI Mavic 3 Enterprise にRTKモジュールを搭載し、全地球航法衛星システム（GNSS：Global Navigation Satellite System）による位置情報と、ドローン自身がもつ姿勢、カメラの情報を紐付けて、マーカーを必要とせずにリアルタイムなAR重畳を行なっています。また3Dモデルの配置には設計の緯度経度情報を利用し、登録された指定座標にWebブラウザから直接配置する事が可能です。

XRデバイスを活用したドローン作業支援
ドローンの操縦を行ないながらこれらの制御をする事で操作が複雑化するのを解決するため、操縦者は透過型XRヘッドマウントディスプレイ（Trimble XR10 with HoloLens 2）を装着し、操縦している手を放すことなく様々な情報を把握、操作を補助するシステムを開発しました。
XR10に投影される空間ヘッドアップディスプレイ（HUD）には、AR重畳された空撮映像の他に、ハンドトラッキングで操作できる3Dモデルの制御UI、撮影機能、飛行中のドローンの各種ステータスが確認出来ます。また位置情報に基づいてドローンの飛行位置をARで投影された地図上に表示。カメラの向きを切り替えて確認する必要も無く、目視では把握しづらい遠方のドローンの位置を俯瞰的に把握出来ます。

Trimble XR10 with HoloLens 2
DJI Mavic 3 Enterprise
PCをコアにした性能向上と遠隔共有システム
ARレンダリングの処理負荷がドローン制御やXRデバイスに影響するのを回避するために、これらの演算を現場ネットワーク内の高性能PCで処理。PCから現場のネットワーク上で映像を共有する事で、各デバイスの負担を軽減しながら、高解像度なリアルタイムレンダリングと通信速度を実現。遠隔会議システムと連携する事で、インターネットを通じて遠隔地とも空撮映像の共有を可能にしました。

システム概要図