ソニーが世界に感動をもたらすための8つの技術を紹介、Sony Technology Day

手に取るような質感が感じられたVR再現

　メディア向けにオンラインイベントで紹介した内容をデモする場も用意されていた。

片眼4K／両眼8Kの解像度を持つOLEDマイクロディスプレイ。

　記者がまず体験したのは、両眼8KのHMDを使ったVRのデモだ。キーデバイスとなる「OLEDマイクロディスプレイ」は、1インチクラスと小型で1.4mm程度の薄型。CMOSイメージセンサーの開発と製造で培った微細加工技術やディスプレー開発で培ったデバイス回路技術を活用している。また、HMDでは複数のセンサー技術を組み合わせることで、システムの遅延を削減。通常では0.1秒程度生じる映像出力までのラグを0.01秒以下に抑えることを目指している。素材や人の表情などを高精細化した容量の大きなデータを扱っても、現実世界と遜色ない感覚で、ヘッドトラッキングに追従する点が特徴となっている。

上部に光学センサーを内蔵しており、頭の位置を検出する。

　非常に驚かされたのは画質の良さとそれによってもたらされる現実感の高さだ。VRは表示デバイスをレンズで拡大して見ることになるので、画素を意識しやすいが、まったくそれを感じさせない。解像度だけでなく、輝度感やコントラストの高さも特徴であり、一般的なVRグラスからは想像できないビビットな再現が可能となっている。

　VRは産業分野での応用も進んでいるが、これは製品の質感を確認する際、従来のように実物を試作して検討するのではなく、CADで作られた3Dデータを様々な角度から見て検討するといった使い方だ。製造にかかわるコストやタイムラグを減らすといった目的がある。デモではα9の3DCGデータが用意されていたが、グリップのシボ感やボディーの梨地といったディティールの再現性が高く、見るだけでは分からないはずの本体の硬さや重量といったものまでイメージできるのが印象的だった。

デモでは遠くにある看板の文字も視認できるリアルな空間の再現、質感が忠実にわかり、手に取るような感覚が得られる3Dモデルの確認が体験できた。

　また、ホークアイのEPTS（Electronic Performance Tracking System）である「SkeleTRACK」の情報を活用し、サッカーの試合そのものを3D映像としてビジュアル化したデモも体験できた。斜め上に設置された8つのカメラでボールと各選手、審判員などの動きを検出し、その情報を元に試合そのものをPCなどでレンダリングして再現するコンテンツとなる。テレビカメラのアングルに縛られず、スタンド・ピッチ上など好きなアングルから試合を眺められる。トラッキングデータはYouTubeのSD画像を伝送する程度のデータ量とのことで、スマホなどでも十分実現できる処理量だという。

モーショントラッキングしたデータを活用し、サッカーの試合そのものを再現するデモ。すべての選手の動きが認識できるほか、観客席、ピッチ上、ゴール裏など様々な視点で試合の状況が分かる。

　モーショントラッキングは専用スーツなどを着用してとらえるのが一般的だが、ホークアイとソニーの技術では異なる角度に置いたカメラ映像だけで多人数の動きを検出できる点が特徴だ。すでに競技の再現や分析などで用いられているが、スポーツでの応用例のほかに、多数のダンサーと踊るアーティストの動きをとらえることも可能だという。カメラでとらえたライブをオンライン上でバーチャル再現するといったエンターテインメント用途での応用も検討しているという。

　動きや人と人の重なりでカメラで捉えられない部分が出るのが弱点だが、AI技術を活用し、見えない部分の動きを補完することで対応しているそうだ。