AI処理機能で単眼カメラスマホとスマートスピーカーが進化する

スマホのカメラとマイクが超絶進化する可能性 Snapdragon 845の最新デモをレポート

Snapdragon 845を搭載したリファレンスモデル

　Snapdragon Tech Summitで、サンプルが出荷されたばかりのSnapdragon 845を発表したクアルコム。同社は、その実力を示すデモを公開した。デモには、Snapdragon 845が組み込まれたリファレンス用の端末が用いられている。

AI対応への強化でスマホのカメラや
スマートスピーカーのマイクがかしこくなる

　Snapdragon 845で最も特徴的なのが、AIへの対応を強化したことだ。クアルコムによると、処理能力は最大3倍に上がっている。CPU、GPUや、DSP（Digital Signal Processor）を使い分けるアプローチを取っており、スマートフォンへの組み込みを想定した「TensorFlow Lite」や、Androidの「NN API」に対応したことも特徴となる。

　AI自体には、Snapdragon 835も対応している。デモでは、Snapdragon 835を搭載した「Galaxy S8＋」で機械学習を使い、被写体をリアルタイムに絵画調に加工する様子を確認することができた。Snapdragon 845では、これがさらに高速に処理できるというわけだ。

絵画調のエフェクトがリアルタイムでかかる

　インカメラを用いたデモでは、Snapdragon 845搭載のリファレンス端末を使用。端末の正面カメラは、シングルカメラ仕様だったが、機械学習で人物を認識しており、深度も取っているため、背景をキレイにボカすことができた。

　グーグルが発売する「Pixel 2」も同様の手法で背景ボケを実現しているが、Snapdragon 845を使えば、同様のことがスムーズにできる。背景だけにエフェクトをかけるデモも確認できた。

機械学習を使って人物を認識。背景にボケを加えている

背景だけをネガのように加工することもできた

　機械学習は、音声認識にも利用できる。この機能を使うと、周囲に騒音がある場合も、話者を特定して、その方向のマイクの声を拾い、正確にコマンドワードを認識することが可能。会場では、クアルコムが開発したスマートスピーカーのリファレンスモデルを使い、実際に説明員の声をひろっているデモを見ることができた。

　また、スマホ側では、GPUやDSPをオフにできるモードが用意されていた。これらをオフにして、機械学習なしの状態にすると、端末が声に反応しなかったように、その効果は大きいようだ。

周囲が騒音だらけの会場でも、スマートスピーカーに話しかけると、しっかり話者の方向（画面左の青色の部分）を認識して、該当するマイクが反応していた

VRやMRなどにも対応を強化
GPUなどの進化が大きく影響か

　VR、AR、MRなどへの対応を強化しているのは、Snapdragon 845のもうひとつの特徴だ。Snapdragon 845は、ルームスケールの6DoFに対応し、サポートする解像度も2K×2K（片目ぶん）になり、映像のリアリティーが増している。

　これによって、部屋の中にバーチャネルなコンテンツを表示させ、歩き回りながらそれを楽しむことが可能になった。また、ハンドトラッキングやアイトラッキングにも対応する。

　デモでは、こうした性能をフルに生かした遠隔診療のコンテンツを実際に試すことができた。ゴーグルをつけると、目の前に映像が広がり、現実の空間は見えなくなるが、手を上げると目の前にそれが表示される。映像空間に浮かぶパネルをタッチすることもできた。画面も精細で、映像への没入感は確かに増している。

Snapdragon 845のリファレンス機を使ったVRコンテンツも用意。手を使った操作ができるなど、リアリティーが高まっている

　当然ながらCPUやGPU、モデムなどのスペックは、Snapdragon 835と比べ、向上している。パフォーマンスだけでなく、省電力性も同時に高まっているのがポイントだ。

　デモでは、GPUを使ってグラフィックスを描画させ、Snapdragon 835と845を比較。この場合で、およそ25～30％程度、電力効率がいいというデータが示されていた。

　ただし、CPUを使ったビデオ再生の場合だと、Snapdragon 835比で差は数％。ミドルレンジ向けのSnapdragon 660とは15％程度の差が出ていたが、CPU単体では、そこまで大きな差は出ないようだ。

GPUを使うと、Snapdragon 835との比較で、25～30％程度、電力効率がよくなっている

主にCPUを使ったビデオ再生では、Snapdragon 660との比較で、15％程度の差が出ている一方、Snapdragon 835との差はわずかだった

5CC CAやQuick Charge 4.0などにも対応
実装はメーカーによるが年明けから展開される見通し

　モデムは、5CC CA対応で下り最大1.2Gbpsを実現する「Snapdragon X20 modem」が搭載された。デモ環境では、3波のキャリアアグリゲーションで、1.18Gbpsのスループットを達成。ケーブルで再現したシミュレーション環境のデモのため、当たり前といえば当たり前だが、最大速度はきちんと上がっているようだ。

スループットで1.18Gbpsを記録

　また、Snapdragon 845では、USB PDとの互換性を持たせた、Quick Charge 4に対応。同規格に対応するチャージャーで、急速充電している様子も見ることができた。

Quick Charge 4のチャージャーと、リファレンス端末を充電している様子

　基調講演に合わせて発表されていたように、このSnapdragon 845は、すでにメーカーへのサンプル出荷が始まっている。早ければ年明けから徐々に、搭載する端末が登場すると見られる。端末への実装は各メーカーに委ねられているため、ここで紹介した機能がすべて実現するわけではない点には注意が必要だ。

　一方で、AIやVRなどは、各チップベンダーがしのぎを削る分野でもある。こうしたチップセットの特徴を生かす、メーカーの工夫にも期待したい。

■関連サイト

• クアルコム