AI研究の最先端で戦うシマンテックリサーチラボ、担当幹部にその取り組みを聞く

「“敵対的AI”によるサイバー攻撃はひそかに始まっている」

2017年11月22日 07時00分更新

文● 谷崎朋子　編集● 大塚／TECH.ASCII.jp

コールセンターに大量の問い合わせ電話――かけてきた相手はAIだった？

　インドのとあるコールセンターに、ある日突然、大量の問い合わせ電話が殺到した。止まない着信への対応に追われるオペレーターたち。コールセンターはパンク寸前だった。だが、そんな状態が数時間続いたころ、オペレーターたちは、一部の問い合わせ内容があまりにも酷似していることに気付き始めた。どうも、何かがおかしい。

　調査を重ねた結果、これは顧客からの問い合わせを偽装した“電話によるDoS攻撃”であったことが判明した。内容が酷似していたためオペレーターたちに気づかれたものの、オペレーターと電話でやり取りしていたのは音声合成／音声認識の能力を持ったAIということで間違いない、という結論に達した。

　現在のところ、攻撃を受けたコールセンターではスーパーバイザー（コールセンター管理者）が監視を強化することで対応に当たっているという。だが、再びAIを悪用した同じような攻撃が行われた場合に「迅速な検知や対応ができるかどうか不安だ」というのがコールセンター側の本音だ。

　この話は、米シマンテックリサーチラボ（SRL：Symantec Research Labs）のエンジニアが数週間前、ある顧客から聞いた話だという。SRLで研究開発を指揮するシニアディレクター、ブライアン・ウィッテン氏は、筆者とのビデオインタビューの中で、AIを悪用したサイバー攻撃の現状について次のように指摘する。

　「本件以外にも、おそらくAIによるサイバー攻撃は発生しているだろう。ただし、それを人間による攻撃と区別することは極めて難しく、まだ（AIによるものだと）発覚していないものも多いはずだ」（ウィッテン氏）

Symantec Research Lab シニアディレクター、ブライアン・ウィッテン（Brian Witten）氏

サイバー攻撃に「敵対的AI」が悪用され始めている

　シマンテックでは、攻撃者が何らかの形でサイバー攻撃に利用（悪用）するAIのことを「敵対的AI（Adversarial AI）」と呼んでいる。そこでのAIの利用方法は、大きく4つに分類できるという。

　・標的システムへの侵入活動
　・攻撃の実行
　・マルウェアなどへの組み込み
　・入力データの汚染

　たとえば前述したコールセンターに対するDoS攻撃における利用方法は、2つめの「攻撃の実行」に該当するだろう。電話応対など多少手間のかかる攻撃方法であっても、AIを利用すれば人手をかけず、“効率的”に実行できてしまう点が恐ろしい。

　また、4つめの「入力データの汚染」は、機械学習に用いられる正当なデータ（教師データ）を気づかれないように改竄し、攻撃対象のAIに間違った学習をさせるというものだ。機械学習技術の1つであるディープニューラルネットワーク（DNN、多層のニューラルネットワーク）は、教師データのノイズにも比較的強いとされるが、特殊な不正工作がなされたデータを見破るのは困難であり、SRLの調査では100％検知されないケースもあったという。

　十数年前に米シマンテックが設立したSRLでは、自社セキュリティ製品に組み込んで活用するAIだけでなく、こうした敵対的AIの研究も続けてきた。その成果は機械学習やニューラルネットワークの研究会で積極的に発表しており、前述した教師データの汚染についても、今年3月にその検出方法を提案する論文を公開している。

SRLメンバーらが発表した論文「Detecting Adversarial Samples from Artifacts」（https://arxiv.org/pdf/1703.00410.pdf）

　研究成果を発表すれば、攻撃者にも手の内を知られてしまう。「秘密にしておきたいという誘惑に駆られることもあるよ」とウィッテン氏は笑う。それでも、むしろ最先端の研究成果をさまざまな業界と広く共有し、サイバー攻撃への対策を実装してもらうほうが有意義だと考えているという。実際に前述の論文も、AI活用を進めている医療や製造の世界でいち早く実装の検証に入っているといい、「分野横断的なサイバー攻撃対策に貢献できたことは、素直に嬉しい」とウィッテン氏は熱く語る。

セキュリティアナリストがAIと会話しながらマルウェアを解析する未来

　SRLでは、IoTやデータ圧縮技術、ユーザーふるまい解析など、サイバーセキュリティに関係する幅広い研究が行われており、AIもそのうちの1つだ。攻撃が激増し、その手法が複雑化もしている現在、日々何百万件も発生するインシデントを人手で解析するのは不可能であり、そうした問題を解消するために、さらにマルウェアのふるまい検知にも応用するために、AIの研究を始めたのがきっかけだった。

Symantec Research Labsが開発してきた技術の一例

　SRLにおける最初のAI研究の成果は「侵入防止エンジン（Intrusion Prevention Engine）」の開発だ。これはネットワークトラフィックをリアルタイムでスキャンし、既知の脆弱性を悪用するマルウェアを検出するエンジンで、「Norton」をはじめとする同社のウイルス対策製品で採用された。

　また、99％の確率で高度な攻撃をブロックするレピュテーション機能「Insight」および「SafeWeb」は、2007年に製品へ実装。SRLの先進的な取り組みにより、競合他社よりも3年先んじて市場投入することに成功した、とウィッテン氏は説明する。

　ちなみにこの技術は、2014年に「AESOP」として進化を遂げている。Aesopは、ユーザーのPC内にある大量の“良性のファイル”を学習して“ファイル間の親和性”を計算し、“悪性の実行ファイル”を弾き出すというレピュテーション技術だ。以前のInsightよりもファイル分類能力は60％向上し、1日200万～300万ファイル以上をブロックできるようになったという。

AESOP技術の概念図（論文より、https://www.cc.gatech.edu/~dchau/papers/14_kdd_aesop.pdf）

　SRLにおけるAI研究によって、特に多大な恩恵を受けたのは同社が提供するマネージドセキュリティサービス（MSS）のアナリストたちだ。

　MSSが管理を受託している多数の顧客ネットワークでは、毎月数兆件レベルの攻撃イベントが発生する。たとえルールベースの振り分けで数千件レベルまで絞り込めたとしても、人間のアナリストが一件ずつ解析するにはまだまだ多すぎる。そこで活躍するのがAIだ。

　具体的にはまず、長年のマルウェア調査実績に基づく教師あり学習によって緊急性の高い深刻なインシデントを抽出することで、人間のアナリストはその解析だけに専念できるようになった。さらに、教師なしデータについても、データ間の関連性に基づいて“ざっくりと”グループ分類できる手法を採用したことで、アナリストは必要に応じてグループからサンプルを選び、検証して、より正確な解析に役立てられるようになった。

　こうしたAIの支援によって、MSSのアナリストはより深刻なインシデントの調査に時間を割けるようになり、一方でアラートにならない高度なステルス型攻撃の検知率は40％も向上したという。

　そんな“最も有能なアナリスト”としてトレーニングされているAIの最新プロトタイプには、チャット機能が実装されており、「人間のアナリストと“会話”しながら、サイバー攻撃の解析を支援できるレベルまで達しつつある」とウィッテン氏は明かす。