COMPUTEX TAIPEI 2025レポート 第30回

無言を検知して話題を振る！ AIによるストリーマー支援とNVIDIAの画質向上技術が秀逸すぎる

AIによるストリーマー支援

　NVIDIAは、ライブストリーマー向けの主要ツールプロバイダーであるStreamlabsと提携し、AIを活用したインテリジェントストリーミングエージェントを開発している。ライブストリーマーの仕事は、ゲームプレイ、視聴者とのインタラクション、チャット対応、配信設定の調整など、同時に多数のタスクをこなす必要があり、非常に負担が大きい。プロのストリーマーはこれをチームで実現しているが、AIエージェントはこれらのタスクの多くをオフロードし、ストリーマーの負担を軽減することを目指す。

　このエージェントは、NVIDIAの最新技術であるACE (Audio to Face) プラグインを使用し、Diffusionモデルを活用してリアルなフェイシャルアニメーションを生成する。エージェントには大きく分けて3つの機能がある。

　まず、Sidekick（相棒）機能。これは視聴者とのエンゲージメントを高めるのに役立つ機能で、例えば、ゲーム開始前の待ち時間などに、自動でゲーム関連の話題を振ったり、ドロップ地点を提案したりする。また、チャットの内容を読み取り、視聴者の意見（例えばドロップ地点の提案）を集計して報告することも可能で、これは音声コマンドで実行できる。

　エージェントは、ストリーマーが一定時間無言なことを検知すると、ゲーム内の状況にコメントしたり質問したりして、ストリーマーに話しかけるよう促す。エージェントの外見、人格、応答スタイルは自由にカスタマイズ可能だ。デモでは、皮肉っぽい人格に設定されたエージェントが、ゲームの勝算を尋ねても皮肉たっぷりに応答する様子が示された。

次に、Producer（プロデューサー）機能がある。これは、配信のプロダクション品質を向上させるための複雑な作業を自動化する機能。エージェントは、ゲームで敗北した際などの「重要な瞬間」を認識すると、自動でリプレイを保存する。また、事前に設定された自動化シーケンスを実行することも可能だ。

　デモでは、ゲームオーバー時にエージェントがコメントし、ゲームオーバーのテキストと音声を出し、しばらく待機した後にこれらを非表示にし、ライブカメラにシーンを切り替えるという一連の動作が自動で行なわれた。このような複雑な流れをゲームプレイ中に手動で行なうのは現実的に難しく、AIエージェントによる自動化が非常に有効であることが示された。ユーザーは、Streamlabsが用意したテンプレート化された自動化を利用できるほか、自分の配信に合わせて自由にカスタマイズすることも可能になる予定だ。

　最後に、Tech Support（テクニカルサポート）機能だ。これは、配信中の技術的な問題を検知し、その解決を支援する。例えばストリーマーのマイクがミュートされていることに気づかず話しているといった、多くのストリーマーが経験する問題を検知し、「マイクがミュートされていますが、音声を戻しますか？」のように問題を通知し、解決を提案に導いてくれる。

　音声コマンドでマイクのミュート解除をエージェントに指示も可能だ。また、エージェントは配信に関する技術的な質問に答えることもできる。例えば、「4K 60fps配信に必要なビットレートは？」という質問に対し、エージェントは適切なビットレート範囲（3万5000〜4万5000 kbps）を回答した。

　StreamlabsはこのAIエージェントをNVIDIAと提携して開発しており、最新のACE（Audio to Face）プラグインや拡散モデルを用いたリアルなフェイシャルアニメーションを活用している。このエージェントは年内にローンチされる予定だ。

　また、ストリーミングやPCとの新しいインタラクション方法の例として、Project R2XというPC向けのデジタルヒューマンインターフェースも紹介された。これはLangflowというAIツール連携プラットフォームを使用し、OpenAIを含むさまざまなLLMやNVIDIA NIMsをバックエンドに利用できる。ローカルでレンダリングされたキャラクターがAIアニメーションで自然な動きを見せる。

　短い詩の朗読デモでは、同じテキストでもエキサイトしたeスポーツアナウンサー風や、ゆっくりと悲しい調子など、さまざまな話し方や感情を表現できることが示され、用途に応じたパーソナライズの可能性が提示された。