ウワサのなぜかグニャンと曲がる写真の技術も見てきました。記事後半に動画もあり！
NTTは2月19〜20日、最新の研究成果をお披露目するイベント「NTT R&Dフォーラム2015」を開催した。今年のコンセプトは「Co-Innovation 〜豊かで快適な2020をめざして〜」で、クラウドやセキュリティー、ネットワーク、ビッグデータなどの分野などで合計87の展示を用意していた。
毎年新しいテクノロジー好きにとってテンションが上がりまくる濃い内容なのだが、残念ながら入場できるのはNTTの関連会社とその取引先のみで、一般公開はされていない。というわけで、読者に変わって、筆者のセンサーにビビッときた3つの展示をがっつり解説していこう。
スポーツ中継の選手が目の前に出現!!
イマーシブルテレプレゼンス技術「Kirari!」
東京五輪のゴールドパートナーでもあるNTT。そんな背景もあってか、18日にはプレスリリースを出して、おもてなし／スポーツ観戦／スポーツ上達支援といったキーワードに関する研究開発の推進を発表していた。今回のR&Dフォーラムでデモを公開することでパートナーを募集し、ブラッシュアップしていく意図だ。
中でも目を引いたのは、ホールを丸ごと使ってデモしていた「競技そのものをリアルタイムで世界に高臨場感配信 〜イマーシブルテレプレゼンス技術のコンセプト Kirari!〜」だった（関連リンク）。あたかも競技場にいるかのような体験ができるというソリューションで、仕組み的には、競技場を撮影／録音し、ネットワーク経由で送って、複数の体育館やライブ会場でリアルタイムに再現することになる。
あたかも競技場にいるかのような体験を遠隔地でも感じられる体験を目指す。今回は、生中継ではなく録画のコンセプトデモになっていた
……とざっくり言うとカンタンだが、裏側では多様な技術が活用されている。特に印象に残ったのが、出口にあたる再現部分。舞台の背景にある大型ディスプレーとプロジェクションマッピングで競技場や得点情報を映し出し、中央にはホログラフィック映像で選手を出現させるという合わせ技を使っていた。音声もサラウンドで音の出所がわかるという凝ったもの。
生の役者も舞台に上がってホログラフィック映像と会話したりと、バーチャルとリアルが入り混じった内容で、普通のテレビで見るのとは違った臨場感の高さを実感できた。
この写真でいうと選手はホログラフィック映像で、得点は大型ディスプレー。卓球台の部分には、実際に持ってこられた台が置かれており、映像が投影されている
技術的には、ホログラフィック映像にStudio TEDの「Eyeliner」を導入している。投影したものが空中に浮いたように見えるという、いわゆる「ペッパーズ・ゴースト」の仕組みを利用し、コンサートや企業の展示会の演出に使われてきた。ASCII.jpの読者なら、初音ミクのライブ「夏祭初音鑑」に使われたものといったほうが早いかも？（関連記事）。背景は中央に8Kディスプレーを配置し、左右から2台の2Kプロジェクターで照らすという構成だ。
音声では、まずNTTの「リアルタイム波面合成技術」を活用していた（関連リンク）。左右2chのスピーカーでは、音の臨場感を感じられる場所（スイートスポット）は意外と狭い範囲になるが、リアルタイム波面合成技術では正面に100台近くのスピーカーを横に並べ、広い範囲でのスイートスポットを実現している。さらにホログラフィック映像用のフィルターに超音波スピーカーを当てて、映像から音が出てるように感じさせる仕組みを入れていた。
リアルタイム波面合成技術用として、上段に64個、下段に32個のスピーカーがずらりと並んでいる。かなり圧巻だ
舞台手前の裏側には、斜めに貼られたEyelinerのフィルムに音を当てる超音波スピーカーユニットを5セット用意。さらにその裏に観客に向けて5台、ホール自体のサラウンドと、スピーカーもりもりな環境だった。モノラルの音声を元に音のある場所（定位）をPCから指示しているという
そうした映像や音声の状況を考えると、膨大なデータ容量になりそうだが、そこにNTTの伝送技術が活きてくる。映像にはH.265/HEVC、音声にはNTTで圧縮率やエンコード速度を改善した可逆圧縮の「MPEG-4 ALS」を採用。さらに選手や背景の映像、照明状態、音声といった要素を欠損なく伝送し、きちんと同期して再現するために「Advanced MMT」を用いている。
そうしたさまざまな技術の集合体が「Kirari!」というわけだ。その場にいるような臨場感ある映像の再現というと、Oculus RiftなどのVRヘッドマウントディスプレーも考えられるが、やっぱりスポーツは他人と一緒に見て盛り上がりたいもの。2020年には立体でスポーツ観戦できる場所が増えているかも!?
（次ページでは、「表情が変わる、不思議なプロジェクションマッピング「変幻灯」」）
