FLIR社のパートナーであるForesight社が、ステレオサーマルイメージングと可視光イメージングを融合！

コーンズテクノロジー株式会社
Foresight社のQuadSight(R)マルチスペクトルビジョンソリューションと呼ばれるこのシステムは、2台のFLIR Boson赤外線カメラと2台のRGBカメラのデータを組み合わせ、悪天候と照明条件およびシナリオにおける障害物検知を改善します。




赤外線サーマルカメラは長波長赤外線（LWIR）、つまり熱を検出するため、日中や暗闇、太陽の眩しさの中でも熱を検出することができます。また、煙や霧などの悪天候下でも、可視カメラよりもはるかに優れた性能を発揮します。しかし、赤外線サーマルカメラと可視画像（RGB）を融合させて、総合的な1枚の画像を作成し、認識能力を向上させることができたらどうでしょうか？

それを可能にしたのが、自動車用ビジョンシステムのイノベーターであるForesight社（https://www.foresightauto.com/）のマルチスペクトルビジョンソリューション「QuadSight」（https://www.foresightauto.com/quadsight2/）です。QuadSightの画像システムは、2台のFLIR Boson赤外線カメラ（https://www.flir.jp/products/boson/）と2台のRGBカメラのデータを組み合わせたもので、それぞれのビジョンシステム技術の強みを融合させた画期的なステレオイメージング方式で開発されました。4台のカメラはすべて同期して毎秒30フレームで動作し、特許出願中の独自技術により、すべてのカメラを共通の座標軸に較正することで、RGBカメラと赤外線カメラの画像を正確にピクセルフュージョンさせることができます。



左側はRGB画像、中央は赤外線画像が表示されています。右側はForesight QuadSightシステムの画像であり、赤外線画像と可視画像の組み合わせにより、コントラストの低い照明や高コントラストの照明、厳しい気象条件下での運転をより意識したものにしています。

サーマルカメラとRGBカメラの両方を使用することで、QuadSightは電磁スペクトルの2つの部分で周囲の環境を3次元（3D）で認識し、LIDAR、レーダー、超音波などの他のセンシング・モダリティの補完的かつ冗長な役割を果たします。この環境では、QuadSightは車両前方の物体の距離と形状を判定するだけでなく、視界内のすべての物体の熱も測定するため、検出された物体が生物であるかどうかをより正確に分類することができます。

ステレオビジョンの仕組み
ステレオビジョンは人間の視覚に似ていますが、左右の目と比較して、左右の赤外線カメラと可視カメラを使った三角測量に基づいています。このようにして、QuadSightは、特定のシーン内の異なる物体までの距離をリアルタイムで計算することで、奥行きを認識することができます。これは、カメラのステレオペア間の対応するピクセルを見つけ出し、画像処理と深層学習アルゴリズムによって距離測定値を三角測量することによって実現されます。

物体と距離を受動的に検出する事による安全性の向上
ステレオサーマルカメラとRGBカメラは、自動緊急ブレーキ（AEB）など、現在開発中のレベル4やレベル5の自律走行システムに至るまで、すでに存在する高度な運転支援システム（ADAS）にとって価値があり、各レベルの信頼性と安全性を高めることができます。QuadSightシステムは、どのような照明条件でも道路上のあらゆる種類の物体を検出した場合、車両に減速を指示するだけでなく、車両のLIDARおよびレーダーシステムとの冗長な距離データを提供し、車両が状況に応じて最適な判断を下すようにすることもできます。

真の自律移動には、より多くのセンサータイプが必要になる
最終的に、真の自律性を実現するためには、将来の自動車には、ステレオサーマルカメラや可視カメラを含む複数のセンサータイプが必要になりますが、これらのセンサータイプは複数の冗長性を備えており、どのような状況下でも、どんなに稀であっても、可能性の低いものであっても、安全性を維持するために効果的に機能することができます。ここでいう安全とは、車内の乗客、他の車両の乗客、歩行者、自転車、動物、道路を共有するその他の物体を指します。

ステレオサーマルイメージングによる交通安全性の向上についての詳細は下記をご覧ください。
■https://www.foresightauto.com/wp-content/uploads/2020/11/FLIR_Thermal-Stereo-Vision-Makes-Safer-Cars-Foresight.pdf

FLIR Systems ADASプログラムの詳細については、下記をご覧ください。
■https://www.flir.com/oem/adas/


コーンズテクノロジーについて(販売代理店)：
コーンズ テクノロジーは、長年にわたり日本と諸外国との貿易発展に寄与してきたコーンズグループの一員で、日本産業界のニーズに合った新製品や新技術のプロモーション・マーケティング及び販売を行う技術専門商社です。世界中のパートナーと密に連携して、迅速且つフレキシブルに世界最高レベルのご提案を提供します。
詳細は、https://www.cornestech.co.jp/ をご覧ください。

本件に関するお問い合わせ先：
電子通信ソリューション営業部
Tel. 03-5427-7566　Fax. 03-5427-7572　
Email: ctl-comm@cornes.jp