「遅延は最短0.1秒」で双方向の反応を可能にするGPAP over MoQ技術を共同開発
ライブビューイングでもコール&レスポンスがしたい! ヤマハとNTT Comが新技術
高い臨場感のある新しいライブビューイング体験を実現するために
両社では、ライブビューイングにおいて「低遅延」「双方向」のインタラクションを実現し、サテライト会場でも臨場感のあるライブ体験を実現する目的に共同開発を進められている。開発に携わるヤマハ 新規事業開発部の柘植秀幸氏、NTTコミュニケーションズ イノベーションセンターの小松健作氏が、共同開発に至った経緯を説明した。
冒頭でも触れたとおり、国内の音楽ライブビューイング市場は急成長を見せている。ただし、従来のライブビューイング体験は、DVDを観ているような受動的な視点にとどまる「臨場感の不足」、ライブ会場のサウンドには及ばない「迫力ある音環境の不足」という課題があった。
こうした課題を解決するべく、ヤマハでは2020年から「Distance Viewing」というライブビューイングイベントを開催している。ライブハウスで開催されるこのイベントは、収録した等身大のアーティスト映像に、ライブ本番と同じ音響、照明、レーザー等の舞台演出を追加して上映することで、ライブ会場にいるかのような高い臨場感の実現を目指すものだ。
「(Distance Viewingは)いわば“ライブの真空パック”。ライブ中の音響、照明、VJ、レーザーなど、ライブ会場で起きたすべてのデータを記録して、アーティストのパフォーマンスをありのままに再現した」(ヤマハ 柘植氏)
同イベントはこれまで7回開催され、来場者からは非常に好評を得ているという。また、このイベントの開催を通じて、地方公演の難しいライブや海外アーティストのライブ、演劇の地方公演などをこのシステムで提供するという、潜在的なニーズも発見できたと語る。
ただし、Distance Viewingの上演には技術的な課題があった。ライブ会場で収録したパフォーマンスを後日、高品位に再現するためには、音響/映像/照明/VJ/レーザーなどのデータを、“タイミングのずれ”がないように再生しなければならない。しかし、それぞれが異なるデータ形式で記録されており、再生時に同期をとる基準信号(タイムコード)にも多様なものがある。それらを個別に調整しなければならず、上演は非常に煩雑だった。
そこでヤマハが開発したのが「GPAP」だ。GPAPでは、あらゆる種類のデジタルデータを、オーディオデータの「WAV」フォーマットに変換(エンコード)して記録できる。これをマルチトラックの音声再生ソフト(市販のDAWなど)に取り込むことで、音響と映像、照明などのデータが、タイミングのずれなく再生できるようになる。外部の同期信号を用意する必要もない。
さらに、GPAPのエンコード/デコード処理は軽く、リアルタイムでも実行できる。そして、GPAPに変換すれば、どんなデータもオーディオとして記録=「録音」すればよくなり、録音システムひとつでライブ全体のデータが記録できる。オーディオデータと同じように、DAW上で編集するのも簡単だ。
こうした特徴を持つGPAPだが、品質を保ちながらインターネット経由で伝送できる技術がなく、従来はリアルタイムのライブビューイングには適用できなかった。それを可能にしたのが、MoQと組み合わせた今回の技術となる。
両社の共同開発は、昨年2月にGPAPを発表したヤマハに対して、NTT Com側から声をかけるかたちでスタートしたという。「そこからは、割とトントン拍子で話が進んでいった」(ヤマハ 柘植氏)。
NTT Comの小松氏は、MoQの技術的な特徴を紹介した。配信遅延は「最短0.1秒程度」まで短縮が可能であり、送信可能な音声チャンネル数も仕様上は無制限であるため、GPAPと組み合わせれば「ライブ会場のあらゆるデータを、サテライト会場にリアルタイムで伝送する」という目的が達成できる。CDNにも対応するため、1つのライブ会場から全国/全世界のサテライト会場に同時配信できるようなスケーラビリティも持つ。
ちなみに「0.1秒の遅延」を音のスピードで換算すると、「だいたい30メートル先の人としゃべっているのと同じ感覚」「アリーナ席の後方にいる観客との距離」(小松氏)になるという。従来技術よりも大幅に低遅延で済むため、サテライト会場にいる観客の歓声やコール&レスポンスを、ライブ会場で演奏するアーティストに違和感なくフィードバックできる可能性がある。
「ライブの本会場とサテライト会場、すべてをつないだようなライブ空間が作れないだろうかと考え、GPAP over MoQを開発してきた」(小松氏)
この記事の編集者は以下の記事もオススメしています
-
サーバー・ストレージ
世界初! 関東-関西の距離600kmでリアルタイムデータ同期 日立とNTT Comが共同実証 -
ネットワーク
NTT Com、IOWN APNの専用線サービスを提供開始









