映像に映る顔や服装などの個人情報を自動で削除した上で、顧客の行動や興味関心を３次元バーチャル空間上に可視化する技術を開発

株式会社NTTドコモ
株式会社NTTドコモ（以下、ドコモ）は、スマートフォンや監視カメラなどの映像（※1）から、個人情報を削除した上で人物の行動や興味関心を可視化する技術を開発しました。本技術では2次元映像から人物の骨格などの3次元情報を取得することが可能なため、3次元バーチャル空間上で実際の人物・顧客行動を追体験するなど、従来とは異なる映像・顧客分析の活用が期待されます。


本技術では、映像から人物の骨格情報などの必要なデータを取り出した後、顔や服装などの個人情報を映像から削除し、人物の骨格を線で描画します。個人情報を自動で削除するため、プライバシーを保護した上で人物行動の可視化が可能になります。また、削除した人物の背景を自動で生成するため、モザイクなどの加工映像と比較してより自然な映像になります。さらに本技術適用前の映像は、閉域網で高セキュリティな「docomo MEC(TM)」（※2)網へ送信され、「docomo MEC」網内で加工されるため、サイバー攻撃の際の情報漏えいリスクの軽減をしながら、人物・顧客行動を分析することが可能です。

　　　　　　　　　　　　　　【カメラ映像のプライバシー保護イメージ】

また、スマートフォンや監視カメラなどで撮影した映像から、人物の滞在時間や目線、物体タッチの情報を取得し、映像から自動作成した3次元のバーチャル空間上に投影することが可能です。例えば、本技術をコンビニエンスストアや商業施設の店舗などで利用すると、顧客人数のカウント、性別・年代推定に加え、顧客の商品タッチ・目線、店内動線・立ち止まりのヒートマップを取得することが可能です。これらの顧客行動データを参照することで、手に取られやすい・目に入りやすい棚や商品、通行量の多いメイン通路、商品購入時に比較検討されやすい商品などを特定でき、商品配置の変更や人流改善などの施策検討、さらにはリアルタイムでの実店舗でのサイネージ変更などの高度な店舗マーケティングへの活用が期待できます。
さらに、近年注目されているメタバースと、映像から人物行動を取得する本技術が融合することで、例えば実空間で行動する人々がバーチャル空間へ転写され、バーチャル空間上の人物と共に楽しめるテーマパークなど、さまざまな新しいサービスに対して活用できる可能性があります。

　　　　　　　　　　　　【人物行動（商品タッチ）のバーチャル空間表示イメージ】

ドコモは、5G、IoT、XR、クラウド、セキュリティなどを活用して法人のお客さまのデジタルトランスフォーメーション実現に貢献し、お客さまの経営課題の解決やスマートな社会の実現に取り組んでおり、その一つとして本技術を開発しました。内閣府が科学技術政策の中で提唱する「Society 5.0」（※3）では、日本のめざすべき未来社会は、フィジカル空間（現実空間）の膨大な情報（環境情報、機器の作動情報、人の情報など）をサイバー空間（仮想空間）に集積し、サイバー空間とフィジカル空間を高度に融合させたシステムにより、経済発展と社会的課題の解決を両立する人間中心の社会であると定義されていますが、「人の情報」の集積については個人情報保護法の観点から課題があります。そのため、ドコモはSociety5.0の実現に向けて「人の情報」集積のハードルを下げることで、実店舗や商業施設などにおける映像による顧客属性や動線分析などを実施可能とすることで、店舗改善やメーカーの商品開発に活用できるよう本技術を開発しました。

本技術は、映像ソリューション導入に関わるハードルを下げ、スマートフォンや既存の監視カメラ映像を使って「実際に使える」「効果を実感できる」ソリューションをめざしています。近年、「DX推進」をはじめとした企業におけるデータに基づく意思決定の重要性は高まっている一方で、映像分析ソリューションの導入・活用には、自社課題解決に適切なソリューションを選べない、データの活用法がわからない、などさまざまな障壁が存在するため、本技術を活用することでそれらの解決をめざします。

本技術を用いて2023年4月から、コクヨ株式会社、ドコモグループの法人事業を担うNTTコミュニケーションズ株式会社とオフィス空間内の人物行動可視化に関する実証実験を行います。客観的なオフィス評価の実現に向け、歩行および立ち止まり箇所のヒートマップなどを取得し、コクヨ社のオフィス内で従業員の人流や行動の解析を行い、本技術の有効性をともに検証します。

　　　【スマートフォンで撮影した映像から作成したコクヨ社オフィスにおける従業員動線イメージ】

ドコモは本技術を通じて、デジタル化社会におけるさらなるプライバシー課題の解決や、メタバースとの融合を今後も検討していきます。なお本技術は、2023年度末の商用化をめざします。


※1 商用目的でカメラ画像を利活用する際は、経済産業省と総務省が策定する「カメラ画像利活用ガイドブック」をご確認ください。https://www.meti.go.jp/press/2021/03/20220330001/20220330001.html
※2 「docomo MEC」は、5G 時代に求められる低遅延かつ高セキュリティな通信環境というMEC（Multi‐access Edge Computing）の特長を持つクラウドサービスで、NTTコミュニケーションズを通じて法人のお客さま向けに提供するサービスです。（各種条件により遅延時間は変動するため、ネットワークの伝送遅延が必ず一定以下になるといった保証をするものではありません。）
docomo MEC ポータルサイト: https://www.mec.docomo.ne.jp/
※3　Society5.0：内閣府が提唱する未来社会のコンセプト（https://www8.cao.go.jp/cstp/society5_0/）

＊ 「docomo MEC」は株式会社NTTドコモの商標です。