IFA 2017レポート 第27回

つくった3DデータはSNSに投稿・3Dプリンターで出力可能

単眼カメラで3Dスキャン！ Xperia XZ1シリーズの新機能「3D Creator」がスゴい

　Xperia XZ1およびXperia XZ1 Compactに搭載されている新機能「3D Creator」。背面カメラ「Motion Eyeカメラ」のみで物体の3Dスキャンが行なえるというほかにはない技術で、Xperia XZ1、XZ1 Compactの目玉機能のひとつとなっている。

　この3D Creatorはどのように利用し、どういった活用ができるのか、実際に体験してきた。加えて、Motion Eyeカメラの機能で、従来からの進化ポイントもチェックしてきたので、合わせて紹介する。

カメラの情報と加速度センサーの情報を利用
単眼カメラのみで3Dスキャンを行なう

　通常、3Dスキャンを行なう場合には、映像をとらえるカメラだけでなく、赤外線を利用した測距センサーなどが搭載される「3Dカメラ」と呼ばれる機器を利用するのが一般的。

　たとえば、インテルが開発した「Intel RealSense Technology」などがおなじみだろう。それに対し、XZ1およびXZ1 Compactに搭載されている3D Creatorでは、裏面カメラ「Motion Eyeカメラ」のみを使って3Dスキャンを行なうようになっている。これが、大きな特徴だ。

3D Creatorは、測距センサー不要で、単眼のカメラと加速度センサーのみで3Dスキャンを行なう

　正確に言うと、カメラだけで実現しているわけではなく、加速度センサーを同時に利用して実現している。3Dスキャン時には、カメラで物体をとらえてその周囲を移動するという、一般的な3Dスキャンと同じ操作となるが、その時に加速度センサーの情報を読み取って移動方向や距離を判断するとともに、とらえている映像から表面の凹凸などの特徴点を割り出し、3Dモデルが作成される。

　3Dスキャンの手順やできあがる3Dモデルは、3Dカメラを利用する場合とほぼ同じだが、スマートフォンに標準搭載されている単眼のカメラと加速度センサーを利用し、ソフトウェア技術のみで実現できているという点が、3D Creatorの大きな特徴だ。

　特別なハードウェアが不要なので、ハードウェアのコストが低減できるのはもちろん、汎用性が高いという点も、ほかにはない利点となる。

カメラでとらえている映像と加速度センサーの情報から、ソフトウェア技術で3Dモデルを作成する

頭前方の顔のスキャンは30秒ほどで完了

　では、実際の3Dスキャンの手順を見ていこう。まず、キャリブレーションとして特徴点の割り出す。アプリを起動してカメラで顔をとらえ、指示通りに顔の周囲を移動する。

アプリを起動し、カメラで顔をとらえつつ、指示通りに顔の周囲を移動する

　すると、目や鼻、顔の輪郭、髪などの特徴点がとらえられる。ひととおり顔や頭の周囲を移動し終わると、特徴点が割り出される。続いて、ポリゴンメッシュの作成となる。

目や鼻、紙、口、顔の輪郭などから特徴点を割り出す

特徴点の割り出しが終了したら、その特徴点を埋めるようにポリゴンメッシュを作成

　こちらでもまたカメラでとらえながら顔や頭の周囲を移動すると、特徴点をつなぐようにポリゴンメッシュが自動的に作成される。そして、ポリゴンメッシュの作成が終わると、最終的にカメラでとらえた画像がテクスチャマッピングされ、3Dスキャンが完了となる。

徐々にポリゴンメッシュが細かくなり、3Dモデルが完成

　この一連の作業は、約30秒ほどかかる。もっと速く行なうと、ポリゴンメッシュが荒くなり、もっとゆっくり行うとポリゴンメッシュが細かくなるそうだが、時間と作成される3Dモデルのクオリティーとのバランスをとって約30秒ほどで終了するように設定してあるとのこと。

　今回は、頭の前方のみをスキャンしたが、できあがった3Dモデルはなかなかのクオリティーで、一般消費者向けに販売されている3Dカメラを利用した3Dスキャンとほとんど差が無いように思えた。

最後に撮影映像をテクスチャマッピングし、作業は終了となる。時間は30秒ほどかかる

できあがった3Dモデルのクオリティーは、なかなかのもので、単眼カメラのみで作成されたとは思えないほどだ