米Google は2018年12月19日、スマホ端末のカメラを利用して目で見ている物事を検索できる「Google Lens」を機能強化したことを同社公式ブログで明らかにした。10億点以上を識別可能になったといい、1年前（2017年10月）から4倍に強化された。
Googleレンズは一般スマホでも利用可能に
Googleレンズはスマホカメラをかざした被写体の識別や詳細・関連情報の表示や（製品の場合）購入可能なショップのボタンを表示するなど、カメラレンズを利用した高機能な検索機能。人工知能（AI）やコンピュータビジョン、ナレッジグラフ（Knowledge Graph）といった技術を組み合わせて実現している。
当初は Google Pixel シリーズなど一部のスマホ端末のみに公開されたが、現在は Googleアシスタントアプリをインストールすることで Pixel 以外の端末でも試すことができる。日本語にも対応している。
商品パッケージの識別能力改善を確認
今回の識別能力向上は、同社のGoogleショッピングに掲載された商品データベースを利用した学習に基づくもの。筆者が毎月実施している Googleレンズの識別能力テストデータによると、主に製品パッケージを映したときの正答率が改善されたことを確認している。たとえば、日本国内の小売店等で購入可能なお菓子や飲料水の比較的メジャーなパッケージはおおよそ正しく識別できた。
この記事を執筆している時に手元にあった、シンガポールで販売されているポッカの煎茶（ペットボトル、500ml）、同じくポッカの日本で販売されている烏龍茶はともに正しく識別した。前者はシンガポールで販売されているパッケージを、後者は日本で販売されているパッケージを表示したうえ、前者はラベルの裏側（？商品名が記載されていない方の面）で撮影しても正しい詳細情報を表示した。
観光スポットや流通していない商品の識別能力は変化なし
ただし、Googleショッピングが学習用データとなっているため、曖昧な物体や建築物、店舗の入り口、観光スポットの識別能力は大きな変化を確認できなかった。
Google は建築物やランドマークの識別にはカメラで映った被写体情報だけでなく GPS 情報も組み合わせて特定を行っている。たとえばドイツのノイシュバンシュタイン城およびその周辺の飲食店や特徴的なオブジェクトなど、どの被写体にレンズをかざしても基本的に「ノイシュバンシュタイン城」の詳細情報を表示する（※ 2018年12月時点）。また、比較的大きなショッピングモール内の店舗の入り口を撮影した場合は、Google画像検索上に数多くの写真が確認できる店舗は識別できる場合があるが、チェーン店やオンラインに十分な画像点数が用意されていない店舗の場合は誤認識率が大幅に向上してしまう。こうした現状の課題点は、アップデート前後を比較して顕著な変化は確認できなかった。
10年以上前のすでに小売店で流通していないようなレトロな商品も同様に正しく識別できない。たとえば現在も販売されている PlayStation 4 は識別できるが 1990年代以前に発売されたレトロゲームは正しい情報を表示できない。
Googleレンズの課題 被写体を映す角度で正しく認識できないことも
Googleレンズの課題は、カメラで映す角度によって正答率が大きく変化することだ。ある角度であれば正しく識別するのに、少し角度を変えるだけでまったく異なる詳細情報を表示してしまうことが往々にしてある。たとえばコンビニで販売されているビニール傘を例にとると、角度によって野球のバットと誤認識されるといった具合だ。
Google によると、ユーザーが日常的に目に見る物体の角度が、必ずしもオンライン上に存在する画像と同一とは限らないことが原因だ。Google はオンライン（Google画像検索のデータ）をコンピュータビジョンに学習させているため、光の当たり方や角度、撮影場所の違いなどさまざまな要因により正しく検出できない場合がある。Google はこの課題を解決するために、より多くの写真データでアルゴリズムを学習させることで解決したいとしている。
Get info about your photos & surroundings
https://support.google.com/photos/answer/7539151?co=GENIE.Platform%3DAndroid&hl=en
The era of the camera: Google Lens, one year in
https://www.blog.google/perspectives/aparna-chennapragada/google-lens-one-year/
