ここ数年、自動運転への着実な歩みを熱心に観察している私たちにとって興味深い年が続いています。半自律的な車両は長年にわたって存在していましたが、単一の接続されたエンティティとして動作する完全に自律的な車両に関する見通しは、まだ未来のものです。ただし、この分野の最新の技術的進歩により、「今後」と予想される機能のいくつかについて、ユニークで説得力のある”絵”が描けています。
たとえば、2019年に生産されたほぼすべての新しい車両には、機械学習や人工知能などの分析技術を利用する最先端のセンサーを実装するモデルがあり、以前は人間が担当していた多くの機能を自動化、支援、または置き換えるように設計されています。これらは、ワイパーブレードを制御するフロントガラス上の雨センサーから、衝突回避のためにレーダーとライダーを使用した物体検出センサー、範囲内の物体を認識し、車両に直接駆動入力を提供できるカメラシステムにまで及びます。
この幅広い採用は、業界での魅力的な発展を表しています。研究者が基礎となるシステムの弱点を、攻撃者より先んじて特定可能な非常にまれな時期の1つです。
McAfee Advanced Threat Research（ATR）には、明確な目標があります。今日の複雑な状況で、広範囲の脅威を特定して明らかにすることです。
モデルハッキングー攻撃者が人工知能を標的にして回避する方法の研究ーを用いて、攻撃者に真の価値を持たらす方法で実装される前に、私たちは対処する機会があります。
これを念頭に置いて、ハードウェアパック1を実装するTeslaモデルを含む、現在4,000万台以上の車両で使用され、広く展開されているMobilEyeカメラシステムの調査にフォーカスしました。
18か月間の研究
McAfee Advanced Threat Research（ATR）は、当社のWebサイトに記載されている責任ある開示ポリシーに従います。そのため、公開の90日前にTeslaとMobileyeの両方に以下の調査結果を開示しました。 McAfeeは、調査結果を2019年9月27日にTeslaに、MobilEyeに2019年10月3日に開示しました。両ベンダーは関心を示し、調査に感謝しましたが、既存のプラットフォームの問題に対処する現在の計画を表明してはいません。MobilEyeは、カメラシステムの最新バージョンがこれらのユースケースに対応していることを示しました。
MobilEyeは、単眼カメラでの衝突事故防止・軽減を実現し、高度運転支援システム (ADAS)の発展に貢献する世界で最も先進的な主要ベンダーの1つです。一方、Teslaは画期的なイノベーションの代名詞であり、革新的で環境に優しいスマートカーを世界に提供しています。
実験に使用したTeslaのモデル 左：TeslaモデルX（2016）右：TeslaモデルS（2016）
MobilEye カメラセンサー
Teslaのハードウェアパック1で使用されているMobilEyeのEyeQ3を示す表。
上で簡単に述べたように、McAfee Advanced Threat Researchは、業界で敵対的な機械学習としても知られている「モデルハッキング」と呼ばれるものを研究しています。モデルハッキングとは、機械学習アルゴリズムに普遍的に存在する弱点を悪用して不利な結果を達成する概念です。これは、セキュリティが追いついていないペースで技術を進化させている業界の今後の問題を識別するために行います。
自動車両で使用される機械学習画像分類システムを攻撃する方法に関する業界論文を複製し、交通標識の誤分類を引き起こすことに重点を置いて、モデルハッキングの世界への旅を始めました。特定の誤分類を目的とした標的型攻撃と、画像が誤分類されているものを規定していない非標的型攻撃の両方を含む、一時停止標識に焦点を当てた以前の研究を複製し、大幅に拡大することができました。
最終的に、非常に効率的なデジタル攻撃に成功しました。これは、対象を限りなく100%に近い信頼性において、高い精度と正確さで判断する非常に堅牢な分類システムで誤分類を引き起こす可能性があります。
一時停止標識に対するデジタルホワイトボックス攻撃により、カスタム交通標識分類システムが時速35マイルの速度標識として誤分類
以下に示す物理的なステッカーを作成する取り組みをさらに拡大し、同じ種類の摂動、または元の写真のデジタル変更をモデル化し、分類システムの弱点をトリガーにターゲット画像の誤分類を引き起こします。
一時停止標識に対する物理的なホワイトボックス攻撃により、カスタム交通標識分類システムが追加の車線標識として一時停止標識を誤分類
このステッカーセットは、ターゲットサインの色、サイズ、位置の適切な組み合わせで特別に作成されており、堅牢なウェブカメラベースの画像分類システムに、STOPサインではなく「追加車線」サインを見ているように判断させます。
35 mphの速度制限標識を部分的に遮られている場合でも正しく認識する、ラボ内の復元力のある分類器のビデオデモ
現実には、現代の車両はブレーキをかけるなどのあらゆる種類の自律機能を有効にするため一時停止標識にまだ依存していないため、アプローチを変更して速度制限標識に移行することにしました。
たとえば、一部の車両では、MobilEyeカメラを使用して制限速度を決定し、ヘッドアップディスプレイ（HUD）に表示し、自動運転に関連する自動車の特定の機能に制限速度を伝えることさえあります。
その後、非常に堅牢な分類システムと信頼できる高解像度ウェブカメラを使用して、速度制限の標識で実験を繰り返しました。
分類システムの堅牢性を示すために、標識に多くの変更ー例えば部分的にブロックし、ステッカーをランダムな場所に配置するなどーを加えることができます。また、上記のビデオで示すように、 分類システムは標識を正しく予測する優れた仕事をします。
同じ結果を収めるには多くの障害がありましたが、最終的には速度制限標識に対して、標的型攻撃と非標的型攻撃の両方をデジタル的および物理的に証明することができました。以下の画像は、これらのテストのいくつかを強調しています。
35.mphの速度標識を95.93％の信頼度で正しく分類する復元力のある分類システムの例
モノクロプリンターを使用して印刷されたターゲットデジタル摂動の例では、35 mphの速度標識から45 mphの速度標識への誤分類が発生
制限速度35の標識に対する物理的な標的化されたブラックボックス攻撃により、時速45マイルの標識へ誤分類が発生
35 mphサインへのブラックボックス攻撃により45mphサインの誤分類が発生。この攻撃は、最先端のCNN、つまりInception-V3、VGG-19、およびResNet-50にも転送される
この時点で、Webカメラを騙して速度制限標識を誤分類させるのは、何が特別なのだろうか、と疑問に思うかもしれません。実際のところそれほどではない。私たちも同じように感じ、「ブラックボックス理論」をテストする時が来たと判断しました。
これが最も単純な形で意味することは、オープンソースシステムとしても知られているホワイトボックスに対してトレーニングおよび実行されるモデルハッキングを活用する攻撃であり、攻撃の機能と特性が十分に類似している限りブラックボックスまたは完全に閉じられた独自のシステムに正常に移されます。たとえば、あるシステムが画像のピクセルの特定の数値に基づいて分類している場合、攻撃はピクセルベースの機能に依存する別のカメラシステムでも再現する必要があります。
ラボベースのテストの最後の部分では、この攻撃を簡素化し、実際のターゲットに適用しました。私たちは、MobilEyeカメラが、ラボで構築したWebカメラベースの分類システムと同程度堅牢だった場合はどうなのか、誤分類を引き起こすには、非常に具体的でわかりやすいステッカーが本当に必要なのだろうか、と考えました。
数名のフレンドリーな同僚たちのおかげで、MobilEyeカメラ（EyeQ3 mobilEyeチップを搭載したハードウェアパック1）を実装したTeslaの2016年モデル「S」および2016年モデル「X」で繰り返しテストを実行できました。最初のテストでは、物理的なステッカーテストの再作成を試みただけでしたが、ほぼ即座に、高い再現性で機能しました。
これらの敵対的なステッカーにより、TeslaモデルXのMobilEyeは、35 mphの速度標識を85 mphの速度標識と解釈した
ラボでのテストでは、角度、照明、さらには反射率の変化に耐える攻撃を開発しました。これにより、実際の状況がエミュレートされることがわかっています。 これらは完全ではありませんでしたが、MobilEyeカメラに、実物とは異なる速度制限標識を見ていると誤認識させるといった結果を比較的一貫して得ることができました。テストの次のステップは、ステッカーの数を減らして、どの時点で誤分類が発生しなかったかを判断することでした。すると、HUDが速度制限標識の誤分類を続けていることに気付きました。ウェブカメラを混乱させる可能性のある唯一の場所にある4つの敵対的なステッカーから、約2インチの黒い電気テープ1枚までのステッカーを減らし続け、交通標識の3の中央を延長しました。
堅牢で目立たない黒いステッカーが、TeslaモデルSの誤分類を実現
訓練された目から見ても、これは疑わしいものや悪意のあるものとはほとんど見えず、見た人の多くはサインが変更されたことに気づきませんでした。この小さなステッカーは、MobilEyeカメラに最高時速85マイルの標識を予測させました。
ブラックテープによりTeslaモデルXのHUDで、時速35マイルが時速85マイルとして誤って読み取られた
最後に、カメラセンサーの機能のいずれかが、自動車の機械的、さらに関連性の高い自律機能に直接影響を与える可能性があるかどうかを調査し始めました。 広範な調査の後、Tesla Automatic Cruise Control（TACC）として知られる機能が車速を設定するための入力として速度制限標識を使用できるという事実に言及するフォーラムに出会いました。
Teslaのオーナーの間では、これがサポートされている機能である可能性があるというコンセンサスが大半でした。この機能が可能かどうかについてもフォーラムメンバー間で混乱があることは明らかだったため、次のステップは、Teslaのソフトウェアの更新と新機能のリリースを参照して確認することでした。
TACCのソフトウェアリリースには、Tesla Automatic Cruise Control機能の説明の下で、次のようなSpeed Assistを示すのに十分な情報が含まれていました。
”すぐに設定速度をSpeed Assistで決定された速度に調整が可能です”
これにより、最終的なドキュメント検索のウサギの穴が見つかりました。 Speed Asistは、2014年にTeslaが展開した機能です。
最後に、これまでの結果を総合すると、Speed Assist（SA）およびTesla Automatic Cruise Control（TACC）を有効にしたTeslaモデルで、交通標識の簡単な変更を使用して車が単独で速度を上げることが可能になると推察します。
これは理論的には可能であると確信していましたが、自分で確認するためにいくつかのテストを実行することにしました。
このプロジェクトのMcAfee ATRの主任研究者であるShivangee Trivediは、これらの機能を全て備えたTeslaを偶然所有していた、別の脆弱性研究者のMark Berezaと連携して行いました。
このターゲットの誤分類を再現および検証するために使用されるテスト、条件、および機器の数を徹底的に調べるために、こちらにテストマトリックスを公開しました。
ここでの究極の発見は、当初の目標を達成できたことです。速度制限標識に小さなステッカーベースの変更を加えることにより、TeslaでMobilEyeカメラのターゲットを誤分類し、それを使用して、35 mph標識を読んでいるときに車両が自律的に最大85 mphの速度になるようにすることができました。安全上の理由から、ビデオデモでは速度が急上昇し始め、TACCが85まで加速することを示していますが、テスト条件を考慮して、目標速度に達する前にブレーキをかけます。これは、ドライバーがレバーをダブルタップしてTACCを作動させたときに、TACCの最初の実装でのみ可能と思われることに注意してください。誤分類が成功した場合、自動操縦は100％の時間を使用します。このクイックデモビデオでは、これらすべての概念がまとめられています。
なお、これらすべての結果は、MobilEyeカメラプラットフォームの以前のバージョン（Teslaハードウェアパック1、mobilEyeバージョンEyeQ3）に対してテストされたことです。 MobilEyeカメラの最新バージョンを実装した2020車両にアクセスできましたが、テストは非常に限られていたものの、この攻撃ベクトルや誤分類の影響を受けないように見えたのは嬉しいことでした。 MobilEyeがこの問題の解決に取り組んでいる研究者のコミュニティを受け入れており、製品の回復力の向上に取り組んでいるように見えることは喜ばしいことです。それでも、最新のMobilEyeカメラプラットフォームが広く展開されるまでにはかなり時間がかかります。脆弱なバージョンのカメラは、Tesla車の中でかなりの設置ベースを占め続けています。Tesla車両の最新モデルでは、MobilEyeテクノロジーが実装されなくなり、現在、交通標識の認識をまったくサポートしていないようです。
今後への期待
このブログをリアリティチェックで閉じることが重要だと感じています。攻撃者がこの種の攻撃を悪用して被害をもたらす可能性のあるシナリオはあるかというと、Yes、です。しかし実際には、この記事は、現時点では非常にアカデミックです。それでも、それは業界が問題を解決するためにフォーカスすべき最も重要な作業の一部を表しています。ベンダーと研究者が協力してこれらの問題を事前に特定し解決することができれば、私たち全員にとって本当に信じがたい勝利になるでしょう。
この重要な業界で成功を推進し、機械学習システムが安全であるという認識を変えるために、私たちは問題の議論と認識を加速し、次世代技術の方向性と開発を進める必要があると考えています。
※本ページの内容は、2020年2月19日（US時間）更新の以下のMcAfee Blogの内容です。
原文：Model Hacking ADAS to Pave Safer Roads for Autonomous Vehicle
著者：Steve Povolny and Shivangee Trivedi
