業界最高レベルのダイナミックレンジを実現した監視用途向けCMOSセンサーを開発　領域ごとに最適露光を自動決定することで移動する被写体の認識精度が向上

キヤノン株式会社
キヤノンは、監視用途向けとして業界最高レベル（※1）のダイナミックレンジ148dB（※2）を実現した、1.0型で有効画素数約1,260万画素（4,152X3,024）の裏面照射積層型CMOSセンサーを開発しました。明暗差の大きい環境でも、画面を736分割し、領域ごとに最適な露光を自動で決定できるため、一般的なハイダイナミックレンジ撮影で必要な合成処理が不要になり、データ量の低減や移動する被写体の認識精度向上に貢献します。


近年、監視カメラの需要拡大に伴い、スタジアムの出入り口や夜間の道路など明暗差の大きい環境において高画質な画像を撮像できるイメージセンサーのニーズが高まっています。キヤノンが開発した新センサーは、こうした用途での使用を想定しております。今後もさまざまな分野での活用が見込まれるセンサーの開発を進めていきます。





1. 業界最高レベルのダイナミックレンジ148dB
監視用途向けのイメージセンサーでは業界最高レベルのダイナミックレンジ148dBを実現しており、約0.1lux（ルクス）から約2,700,000luxまでの撮像ができます。例えば、昼間の地下駐車場の出入り口で車両のナンバープレートと運転者の顔を同時に認識したり、スタジアムの出入り口で来場者の顔認証と背景の監視を両立したりするといった用途での活用が期待されます。

2. 領域ごとの明るさに応じて最適な露光時間を自動で決定
明暗差の大きい環境下での撮影において、明部から暗部まで自然に見える画像を取得するために、一般的なハイダイナミックレンジ撮影では、露光時間を変えた複数の画像を合成する処理が必要です。この処理を行うことで露光時間のずれが生じ、移動する被写体が重なって写ってしまう（モーションアーチファクト）という課題があります。本センサーは、画面を736分割し、領域ごとの明るさに応じて最適な露光時間を自動で決定するため、モーションアーチファクトが発生せず、移動する人物を撮影する場合でも顔認識の精度が向上できるようになります。また、合成処理が不要となり、1フレームあたりの扱うデータ量が少なくなるため、約1,260万画素の多画素で約60fps（※2）の高速な撮像性能の実現が可能となりました。

3. 設置環境や使用用途に応じて撮影条件をカスタマイズ可能
動画は静止画（1フレーム）の連続でできていますが、1フレームの時間内で露光条件の設定を完了させないと、明暗が激しく変化する環境や、速い動きの被写体の撮影に追従することが難しくなります。本センサーは、複数のCPUと専用の処理回路を内部に搭載しているため、1フレームの時間内で領域ごとの露光条件設定を同時に素早く処理することができるほか、撮影環境や使用用途に応じて撮影条件などをカスタマイズすることが可能です。速い動きの被写体を高精度に撮影するニーズのある道路や駅、明暗が激しく変化するスタジアムの入り口などの環境での使用が期待されます。

※1. 監視用途向けCMOSセンサー市場において。2023年1月11日現在。（キヤノン調べ）
※2. 30fps時のダイナミックレンジは148dB。約60fps時のダイナミックレンジは142dB。


〈開発した新センサーによる撮影例〉

・昼間の地下駐車場入り口のように、一般的なカメラでは車両のナンバープレートが白飛びし、運転手が黒つぶれしてしまうシーンにおいて、ナンバープレートの文字と運転手の顔を同時認識することが可能。
・業界最高レベルのダイナミックレンジ148dBを実現しており、約0.1luxから約2,700,000luxまでの撮像が可能。満月の夜程度の明るさが0.1lux、電球や車のヘッドライトのフィラメントの明るさが500,000lux。

開発した新センサー




一般的な高画質センサー




一般的な高画質センサー







〈広いダイナミックレンジを実現する仕組み〉

・従来のセンサーでは、明るい部分から暗い部分まで自然に認識できるようにするため、露光時間を変えた複数の画像を合成し、1枚の画像を生成（下記の図の例では、1フレーム内で4種類の露光を実施）。
・開発した新センサーは、736領域それぞれに最適な露光条件を自動で決定することで、合成処理が不要。



〈領域別露光の仕組み〉

・2つ前のフレームと1つ前のフレームの差分から、被写体の動いている部分を検出（１.動体マップ生成）。
・1つ前のフレームで、被写体の明るさを領域（※3）ごとに認識し、輝度マップを生成（２.）。隣り合う領域の輝度差が大きくなりすぎないよう滑らかにした上で（３.隣接露光量差低減）、動体マップの情報から露光条件を補正し、最終的な露光条件を決定（４.）。
・決定した露光条件（４.）を対象フレームの撮像に反映。

※3. 実際には736領域に分割しているが、下図では簡略化。