2021年6月10日、京セラは物体認識AI技術を活用した「スマート無人レジシステム」を発表した。従来の物体認識技術と比べて、ICタグやカメラが不要のため安価に導入できるうえ、新製品の登録が迅速に行なえるのが特徴だ。
「スマート無人レジシステム」は1台のカメラとパソコン、ディスプレイ、カードリーダーで利用できる
小売りの課題とコロナ渦への対応で開発にチャレンジ
京セラは2019年5月に「みなとみらいリサーチセンター」を新設し、点在していた研究開発拠点を集約している。ここではエネルギー、情報、通信、車載などの分野で、ソフトウェアや機器、システム関連の基礎研究や応用技術の開発を行なっている。今回の開発経緯について京セラ 研究開発本部 先進技術研究所 所長 小林正弘氏は、「コロナ禍になり、我々として何か社会貢献できないか、今やるべきはなんなのかと考え、自動運転向けに開発してきた画像認識技術でレジの無人化にチャレンジしていこうと答えを出しました」と語る。
京セラ 研究開発本部 先進技術研究所 所長 小林正弘氏
小売業は労働人口の減少とコロナ禍における感染拡大防止という課題を抱えており、店舗運営の効率化と省人化、そして対人接触機会の削減というニーズがある。そのため、京セラはレジシステムに着目し、2019年12月から物体認識AI技術を使った「スマート無人レジシステム」の開発をスタートした。
既存のレジシステムは、セミセルフレジの場合は店員がスキャンし、利用者が精算を行うので店側に負担がかかる。フルセルフレジはどちらも利用者が行なうので、利用者に負担がかかる。無人レジであれば両者の負担は減るが、設備投資が大きくなるという課題がああった。また、RFIDを利用するICタグ方式や店舗内に多数のカメラを設置する多カメラ方式があるが、どちらも導入コストやメンテナンス費用が高くなってしまうのだ。
既存レジシステムの課題
これに対して「スマート無人レジシステム」は1台のカメラとパソコン、ディスプレイ、カードリーダーで構成されており、ICタグや大量のカメラ設置が不要となるため、低コストで簡単に導入できるのが特徴だ。複数の商品を即座に認識することで、利用者負担の軽減と店舗の省人化、対人接触機会の削減に貢献するという。
「当社では本システムにより、効率的かつ快適で安心な店舗作りに貢献したいと考えています」と語るのは研究開発本部 先進技術研究所 コンピュータビジョンラボ画像処理研究課 責任者の船津陽平氏。利用者は購入したい商品をカメラの下に並べるが、乱雑に置いてもスピーディに認識できるのが特徴だ。商品が重なっていたり、手に持った状態でも商品識別が可能になる。研究によると、4割くらいが重なっていても認識できるという。
「精算にかかる時間を短縮でき、レジ待ちの行列を低減することが可能です」（船津氏）
研究開発本部 先進技術研究所 コンピュータビジョンラボ画像処理研究課 責任者の船津陽平氏
AIの活用により、新規商品の追加時間も減らせる
もう一つの大きなポイントが、AI技術。従来の物体認識技術では、新規商品を追加する場合、既存商品と新規商品を合わせた全商品の再学習が必要になっていたという。そのため、学習済み商品が多くなるほど、新規商品の追加時間が増大するという課題があった。
京セラの物体認識AI技術では、深層学習と従来型機械学習を融合させることで、既存商品に関しては再学習が不要になり、新商品のみの追加学習が可能になった。そのため、頻繁に新商品が発生する用途でも、短時間で登録することができるようになったという。
「従来手法の深層学習による分類器では、分類可能な商品数の拡大が課題となっていました。当社は特殊な構造を持つ物体認識AIアーキテクチャを開発し、分類精度を維持したまま商品数を拡大することが可能になりました」（船津氏）
従来の手法だと、既存商品が100点、追加したい新製品が10点ある場合、4日間かかっていたところが、京セラの技術なら、15分で追加登録ができるという。登録可能な商品数も多く、社内の実証実験では約6000種類の商品を登録した実績を持ち、1万点以上の対応も可能だ。
新規商品の追加学習を可能とする技術を開発した
従来、認識精度を向上させるためには大量の学習データが必要だったが、本システムではたった数枚の静止画を撮影するだけで、学習できるという。商品が重なったり、手持ちしているシーンの学習データも生成し、従来手法では認識しづらいシーンでも高精度な物体認識を実現できる。なお、今回開発した学習データ生成技術は7月に開催が予定されている国際学会「MVA2021」にて発表予定だ。
データ拡張のための学習生成技術を開発した
デモ映像ではリアルタイムな認識 事業化はまだ検討段階
続いて、コンピュータビジョンラボ画像処理研究課の戴暁艶氏がデモ映像を見せてくれた。カメラの映像内にお菓子を置くと、瞬時に認識してフレームが付き、製品名が表示される。重ねても、斜めになっていても、手に持っていてもリアルタイムに認識し続けている。高解像度の映像を入力する場合でも、秒間30フレームでの処理が可能だ。
コンピュータビジョンラボ画像処理研究課の戴暁艶氏
社内食堂でも実証実験を行なったそうだが、食前、食後のどちらでも認識できる。様々な皿の配置条件に対応し、お皿を重ねても、食べ残しがあってもOK。食堂と小型店舗を併設するケースを想定し、一般的な商品を混ぜても認識していた。
生鮮食品もそのまま置いて認識できる。じゃがいもや桃、トマトなどをレジ台に置けば、即認識してくれる。対象物の色や形にばらつきが生じても、同一のものとして高精度で認識できるそう。
商品をカメラの下に置くと瞬時に認識する
生鮮食品をそのまま置いても、きちんと判別してくれる
「今後、われわれはこの物体認識の無人レジのみならず、さまざまな領域向けに無人化、省力化に向けた社会実装をさらに進めていきます。農業や漁業における仕分けだったり、工場で部品の選別にも適応可能だと考えています」（戴氏）
「われわれは今、研究開発を終えた段階でして、今後は社会実装を目指した検討を行ない、2023年以降の製品化を目指しています。精算現場における、実運用課題をしっかりと把握して、解決して行く必要があります。それにあたっては、社外のパートナー様との協業が必要だと考えています」（船津氏）
「今は、技術を具現化したタイミングです。POSシステムとして、パートナー企業と組ませていただいて、一緒にビジネスを進めていくのかも含めて、今後検討していきます」（小林氏）
今はまだ事業化検討中フェーズなので、価格は勿論、ビジネスモデルもこれからという段階。とは言え、コロナ禍でダメージを受けている小売業や飲食業にとっては、低価格で手軽に利用できる無人レジシステムは喉から手が出るほど欲しいソリューションだ。2023年以降とのことだが、少しでも早い製品化を期待したい。
