Windows Info 第442回

Copilot+ PCで実現されるローカル推論で「対クラウド企業」を指向するMicrosoft

クラウドで強みを持つGoogleやAppleなどライバル
Microsoftはローカル推論で攻勢を強めるか

　GoogleやMeta、Amazonなどのクラウドサービスを基本とした企業は、ユーザーの撮影した写真や作成した文書などをクラウドで扱っており、クラウドベースのAIサービスの方がなにかと都合が良い。画像のようなかさばるデータや、1つ1つはそれほど大きくなくても大量になるメールなどを、インターネットで転送することなく処理できるからだ。

　これに対して、ローカル推論は、プライバシーやセキュリティについてクラウド推論に対するメリットがあるとMicrosoftは主張する。

　また、コストに関しても、「デバイスへの初期投資以外に追加コストは発生しない」と主張する。現状ではクラウド側AIの本格的な利用には、サブスクリプションなどの契約が必要になる。現在のクラウド側AIの多くは従量制であり、大量の推論によるコストが今後さらにかさむ可能性がある。一方でローカル推論では、システムのメンテナンスや更新作業はユーザーが負担するのであって、現状では、メモリやNPU、CPUなどのリソースを平均以上に用意する必要がある。

　推論処理全体でのレイテンシ（遅延）では、ローカル推論は有利になる。クラウドでは、必ずしもユーザー近隣のデータセンターを利用するとは限らず、場合によって遠方で処理され、レイテンシが大きくなる可能性がある。

　推論処理だけを見ると、潤沢なハードウェアのあるクラウド推論がスループット的には有利だが、クラウド側のシステム負荷にはユーザーが関与できない。これに対して、ローカル推論はユーザーが実行するAI処理を管理でき、負荷状態の制御が可能だ。そうなるとスループット的にも有利になることがありえる。

　Microsoftがローカル推論に大きく舵を切ったのは、こうした「対クラウド企業」的な要素も多分にあると考えられる。PCでローカル推論が可能なれば、データをクラウドに保存し、クラウド推論を使う頻度は減るだろう。

　Microsoftの論文によれば、前述のPhi-3 miniはコンパクトであるため、iPhoneでの実行も可能だという。なので、ローカル推論を組み込んだスマートフォン・アプリケーションをMicrosoftが提供する可能性もある。GoogleやAppleなどの対応次第ではあるが、アプリケーションの1つにしか過ぎないのであれば、あからさまな拒否もしにくいはずだ。