Windows Info 第467回

Copilot+ PCのNPUでカメラを処理する「Windows Studio Effects」 その内容や効果は？

　「Windows Studio Effects」は、NPUを使ったカメラやマイクのAI処理機能だ。Copilot+ PC以前のSnapdragon搭載マシン（Windows on ARM）用として登場し、Copilot+ PCでは、その機能が強化された。今回はこのWindows Studio Effectsを見てみることにしよう。

そもそもWindows Studio Effectsとは？

　Windows Studio Effectsとは、NPUを使いカメラやマイクに機能を追加するもの。逆に言えば、NPUを内蔵しないマシンでは利用できない。

　現状NPUを搭載したマシンは、Copilot+ PCとそれ以前のARM64版Windows（Windows on ARM）の動作するマシンがある。これ以外のマシンでは、Windows Studio Effectsが動作しない。また、Copilot+ PCでは内蔵カメラに対してのみ有効となり、USB接続の外部カメラでは利用できない。

　Windows Studio Effetsには、カメラ画像を加工する「AI効果」とマイク入力を加工する「AI効果」がある。

　Copilot+ PC（Lenovo Yoga Slim 7）で試したところ、効果が微妙なものも見られた。自動フレーミングは、有効な場合とそうでない場合がある。フォーカスに関しては大抵の場合は正しく合うのだが、顔をセンターに持ってきてはくれないこともあった。

　「アイコンタクト」も微妙な感じである。「標準」でも「テレプロンプター」でも、カメラを見つめていていないのがわかってしまう。しかし、わずかに目のあたりが変化しているのはわかる。

　背景効果だが、「ポートレートぼかし」では、ぼかし処理が真面目過ぎるのか、たとえば本棚については背表紙を読むことはできないが、本棚があることはわかってしまう。テレビ会議などでプライバシーを心配するなら「標準」を選択すべきだろう。

　クリエイティブフィルターは、適用するとその効果がはっきりとわかる。ただ、それぞれの区別は微妙で、説明と水彩画は多少色味が違う程度にしか見えない。また、両者ともに顔にバンディングが見えてしまう。これに対して「アニメーション」は、バンディングが出ないものの、顔全体の色味が単純になる感じだ。ビデオ撮影なら使い道もありそうだが、テレビ会議などで使う類のものではなさそうだ。

Windows Studio Effectsの仕組み

　Windows Studio EffectsのAI効果は、カメラデバイスやマイクデバイスをアクセスするためのドライバーレベルで組み込まれる。これにより、カメラやマイクを利用するアプリケーションがWindows Studio Effectsに対応していなくても、クイックアクセスからAI機能の有効/無効を制御できるようになる。

Copilot+ PCに搭載されたクイックアクセスのスタジオエフェクトアプレット。ここからAI効果のオンオフが可能で、Windows Studio Effectsに対応していないアプリでもAI効果を適用した映像を得られる

　もちろん、Windows 11標準搭載の「カメラ」アプリのように、Windows Studio Effectsに対応していれば、アプリ側で設定することも可能だ。

　Windows 11 Ver.24H2からは、Copilot+ PCでは、クイックアクセスに「スタジオエフェクト」が追加され、機能の設定が可能になった。同じ機能は「設定」→「Bluetoothとデバイス」→「カメラ」→「＜内蔵カメラ名＞」にもある。

クイックアクセスのスタジオエフェクトと同様の機能が「設定」→「Bluetoothとデバイス」→「カメラ」→「＜内蔵カメラ名＞」にある。Windows Studio Effectsは、内蔵カメラだけが有効になる

　実際のカメラデバイスでは、メーカーが独自の「効果」を追加することがある。また、アプリケーションも独自の効果をカメラデバイスやマイクデバイスに対して追加することができる。このために、Windowsには、「Media Foundation」という仕組みがある。Media Foundationは、映像や音声など常にデータが更新し続ける「ストリーム」に対して加工を行う仕組みを提供する。

　映像や音声などは、一定品質で再生するためには、遅延や中断などが許されない。このため、Windowsのカーネルが「カーネルストリーミング」機能を提供している。Media Foundationは、カーネルストリーミングの機能を使ってさまざまな機能を実現している。

　背景をぼかすなどの「効果」は、Media FoundationのDMFT（Device Media Foundation Transform）を開発することにより可能になる。このあたりに関しては、MicrosoftのWebサイト「デバイス MFT 設計ガイド」（https://learn.microsoft.com/ja-jp/windows-hardware/drivers/stream/dmft-design）に記述がある（ただし、ドライバー開発者向けのドキュメント）。

　Windows Studio Effectsも同じような仕組みを使って標準のカメラストリーミングデバイスに対して、AI効果を追加する。アプリケーション側は、デバイスの機能として、OEMのDFMTや標準の機能（明るさやコントラスト設定など）に加えて、Windows Studioが追加したAI効果も有効になる。

Windows Studio Effectsは、OEMドライバの下に入り、複合カメラデバイスとして動作する。ただし、アプリケーション側からは、物理カメラデバイスのように見える

　Windows Studio Effects対応アプリは、AI効果の制御が可能になる。たとえば、Copilt+ PCの「カメラ」アプリは、内蔵カメラに対して、Windows Studio Effectsの設定パネルを表示できる。

Copilot+ PCの「カメラ」アプリは、Windows Studio Effectsに対応しているため、直接AI効果のオンオフが可能

　これに対して、非Windows Studio Effectsのアプリケーションは、アプリ側からAI効果を制御できないが、クイックアクセスにある「スタジオエフェクト」を使うことで、AI効果を設定可能。

Windows Studio Effectsは、OEMドライバの下に入り、複合カメラデバイスとして動作する。ただし、アプリケーション側からは、物理カメラデバイスのように見える

　Windows Studio Effectsは、もともと、NPUを使う機能としてARMプロセッサを搭載したWindowsマシン用に登場した。Copilot+ PCでは、高いNPU性能が要求され、Windows Studio Effectsも拡張されたが、イマイチ効果がわかりにくい。AI効果とはいうが、内容的には、従来のカメラ付属のユーティリティやビデオ会議アプリケーションが持つビデオ効果の範囲を超えていない。

　実際には、同じ効果であってもNPUを使うことで、CPU負荷を下げ、モバイルでの電力消費を軽減するという効果があるはずなのだが、目に見える部分ではないので理解されにくく、またユーザーが気軽に検証できるというものでもない。