高精細映像やAI／データ分析、AV over IPで実現する世界とは？「AV over IPパートナーサミット 2023」講演

VARからメタバースまで、ソニーホークアイがスポーツ×ITの未来像を紹介

2023年03月07日 10時00分更新

文● 大塚昭彦／TECH.ASCII.jp

　業務用オーディオ／ビジュアル（Pro AV）市場で進む、デジタル映像／音声をIPネットワーク経由で伝送する「AV over IP」活用の動き。ネットギア本社で開催された「AV over IPパートナーサミット 2023」では、Pro AV市場の国内外17社から、AV over IPだからこそ実現できるイノベーションや最新ソリューションが紹介された。

　その中から、今回はソニーグループのホークアイ（Hawk-Eye Innovations）が手がけるプロスポーツ分野でのイノベーションを紹介したい。多視点の4K映像をリアルタイムにキャプチャし、AIを用いた分析で瞬時に3D CG化することで、審判の判定支援からファン向けのエンターテインメントまで、さまざまな競技の世界ですでに幅広く活用されているという。

スポーツというライブコンテンツに高度な技術で取得／分析したリアルタイムデータを掛け合わせることで、価値の最大化を図る

ソニーサービスビジネスグループ部長兼ホークアイ・アジアパシフィック VPの山本太郎氏が講演した

3D空間でボールや選手の位置も正確に確認できる審判判定システム

　ソニーグループは「クリエイティビティとテクノロジーの力で、世界を感動で満たす。」というパーパスのもと、さまざまな領域でビジネスを展開している。スポーツビジネスもそんなビジネス領域のひとつであり、今回取り上げるホークアイのほか、デジタルファンエンゲージメントを支援するパルスライブ（Pulselive）、AIベースのデータ分析／可視化技術を持つビヨンドスポーツ（Beyond Sports）といったグループ会社を持つ。

　ホークアイは、野球やサッカーをはじめとするさまざまな競技の審判判定をテクノロジーで支援するシステムや、放送映像向けにビジュアライズするサービスなどを展開している。現在は25の競技において、世界90カ国以上で年間およそ2万試合／イベントへのサービス提供を行っているという。

審判判定支援など、ホークアイのテクノロジーは世界中のプロスポーツで活用されている

　ホークアイでアジアパシフィック VPを務める山本太郎氏は、ホークアイが持つ基幹技術について、マルチアングル映像を用いて審判の判定を支援する「ビデオリプレイ」、映像上でボールや選手の動きを高速に自動追跡する「トラッキング」、映像分析でデータを取得し、そのデータを集約／配信／可視化する「インサイト」の3つだと説明する。

　サッカーのVAR（ビデオアシスタントレフェリー）や野球のリクエスト制度、ラグビーのTMO（テレビジョンマッチオフィシャル）、競馬の斜行審議など、最近はさまざまな競技でビデオ判定が使われるようになった。その背景には、こうした映像の高精細化やデータ分析の高度化、高速化といったテクノロジーの急速な進化があるわけだ。

　「ボールや選手のトラッキングデータを基にして（3D空間で）CG映像を生成することで、（審判が）いろいろな角度からプレイを確認できる」「テニスでは最近、主審だけ置いて線審は置かずに試合を行う、ホークアイが線審の代わりを務めるという試合も増えてきている」（山本氏）

ホークアイが持つ3つの基幹技術

リプレイ、トラッキング、インサイトといった高度な映像分析技術を組み合わせて審判をサポートする（ホークアイのデモビデオより）

ファンエンゲージメント、パフォーマンス分析など活用の幅を広げる

　こうした高度なテクノロジーは、審判判定だけでなく選手のパフォーマンス分析やファンエンゲージメントなどにも活用されるようになっている。山本氏は最新の光学トラッキングシステムである「SkaleTRACK（スケルトラック）」を紹介した。

　SkaleTRACKをサッカーに適用する場合、8～12台の4Kカメラをスタジアムを囲む形で配置し、それらの映像分析を行うことで、すべてのプレイヤーとボールの3D位置を計算する。AIエンジン（姿勢推定技術）により選手の骨格データ（skeletal data）も分析して、これを「Unreal Engine」を使って3D CG映像として出力する。

　「1選手ごとに、29の関節の動きを毎秒50フレーム、100フレームとキャプチャ（取得）して、そのデータをリアルタイムに処理して、CG映像として出力する。ここまでの処理を0.5秒以内で行える」

　3D CG化することで、カメラ位置（視点）は仮想空間内で自由に決められるようになる。山本氏は、たとえば「いまのプレイを選手の真横で見たい」といったスポーツファンの新たな体験づくりにも生かせると説明する。また、たとえばサッカーならば「各選手のつま先やかかとの位置」まで正確にトラッキングしているため、ある選手がボールを蹴った瞬間の全選手の位置を3D CGとして審判に提供し、オフサイドの判定にも活用されていると話す。

ホークアイの「SkaleTRACK」技術の概要

プレイの様子をキャプチャし、あらためて3D CGとして出力することで、自由な視点で見ることができる

　野球でも同様に、8台の4Kカメラでフィールド全体をカバーする。こちらでは特にピッチャーとバッター、キャッチャーの間を細かくトラッキングしており、毎秒100フレームまたは300フレームのキャプチャによって、ボールの縫い目などからボールの回転方向や回転数までリアルタイムに算出しているという。

　「こちらでも選手の骨格情報、たとえば肘や手首の位置といったものもすべて取得している。われわれが直接分析しているわけではないが、各チームではたとえば選手の強化やケガの防止といった目的で分析、活用できるそうだ」（山本氏）

野球におけるSkaleTRACKの活用例

　こうしたSkaleTRACKの技術は、ファンエンゲージメントを高めるためのインパクトのある映像サービス「HawkVISION」にも活用されている。たとえば昨年のサッカーW杯においては、シュートを打った選手の3Dリプレイ映像に合わせて、選手がドリブルで走った距離やシュート時のゴールからの距離、シュートしたボールのスピードなどのデータを表示させた。

　ここからさらに進化した、スポーツの観戦体験をパーソナライズするサービスの開発にも取り組んでいるという。3D CG化されたフィールド映像を通じて「特定の選手だけを追って見る」「自分の好きなタイミングでリプレイを見る」といった楽しみ方を可能にしようというものだ。

　「決まった位置からのカメラ映像を見るのではなく、たとえば『7番の選手を追いかけて試合を見たい』といった具合に視点が自分で選べるようになる。また、シュートの瞬間を好きな角度からリプレイして『このスペースを作ったからあのシュートが打てた』などと分析することで、トレーニングにも使えるだろう。メタバースという文脈で言えば、『スタジアムには行けないけどメタバースで試合を観戦した』といったことも実現するだろうし、さらに言えばバーチャル世界なので『友だちとセンターサークルに座って観戦する』など、どんなことも可能になると思う」（山本氏）

データ活用をさらに推進し、スポーツビジネスの未来を切り開く

　ソニー／ホークアイでは10年以上にわたってネットギアとのパートナーシップを組んでおり、現在はAV over IP向けスイッチの「M4500シリーズ」を中心に活用しているという。たとえば米国のMLB、NBA、欧州の主要サッカーリーグ、日本のJリーグやプロ野球の現場で、M4500シリーズスイッチを導入、活用している。広いフィールド全体をカバーする形で多数のカメラを設置するうえで、IPネットワークの技術が役に立つ。

　「なぜネットギアと長いおつきあいをさせていただいているのか。実際のオペレーションチームにヒアリングしてみたところ、信頼性、容易に拡張ができるフレキシビリティ、そして現場に対する手厚いサービスがいただける、という答えだった」（山本氏）

ネットギアとは10年以上にわたるパートナーシップを築き、さまざまな現場でAV over IP対応スイッチを利用している

　ソニーでは、スポーツビジネスの未来像をどのようにとらえているのか。

　山本氏は、ソニーグループの持つクリエイティブの強み（コンテンツ開発、ファンコミュニティやネットワークサービスの運営など）と新たなテクノロジー（データ分析、ビジュアライゼーション、Web3／メタバースなど）を掛け合わせていくことを考えていると話した。

　その一例として山本氏は、2021年11月に発表した、マンチェスター・シティFCとの「オフィシャル・バーチャル・ファンエンゲージメント・パートナーシップ」契約締結を取り上げた。両社はこの契約を通じて、仮想空間を融合した新たなコンテンツの開発や新たなファンコミュニティの実現に向けた実証実験を行うとしている。

　「この発表については『ソニーがメタバースをやっている』というふうに報道されがちだが、われわれの大きな目的はメタバースを実装することではない。そこに集まるファンの方々とコミュニティを創造することで、新しいビジネス、新しい関係性を生み出していくことが目的だ」（山本氏）

　山本氏は、今後はさらに技術革新が進み、リアルタイムデータの取得精度が高まることが期待されるとしたうえで、「スポーツというライブコンテンツにデータが載ることで、コンテンツの価値がさらに高まる。それに向けてわれわれもチャレンジしていきたい」と語った。メタバースを通じたライブとバーチャルの融合も大きなテーマだという。