MITREはこのほど、McAfee MVISION EDRを含む21のサイバーセキュリティ製品を対象に実施したAPT29に対する評価の結果を発表しました。この評価は、攻撃と防御両面の実践型演習として実施され、可視性、防御ツール、行動におけるギャップを見極めるために、ブルーチーム（防御者）側で広く利用されている、攻撃者の戦術と技術の自由に利用可能なオープンソースのナレッジベースであるATT＆CK®に基づいています。
今回の評価では、ATT＆CKのナレッジベースを使用してMITREはレッドチーム（攻撃者）の役割を担い、MVISION EDRおよびMVISION EndpointがAPT29（Cozy Bear、The Dukes、Cozy Dukeなどとも呼ばれる）で使用されている戦術や技術を検知する能力を調査しました。APT29は、ロシア政府系のハッカー集団とみられており、2015年に開始された米国民主党全国委員会に対するサイバー攻撃を実行したとされています。今回の評価は2日間にわたって行われました。毎日、10ステップで構成される異なるバージョンの攻撃を、APT29の複数の技術を使用して実施しました。
これらの評価は、製品のランク付けやスコアリングが目的ではありませんが、私たちが結果を分析したところ、マカフィーのブルーチームは、MVISION EDRを使用すると攻撃者に対してはるかに優位に立てることがわかりました。具体的には、
・各攻撃ステップの可視性は1日目は100％、2日目は89％
・各攻撃ステップの検知は1日目は90％、2日目は67％
評価の際には、併せてMVISION Endpointを観察、非ブロッキングモードで実行しました。この結果、レッドチームが実行したすべての攻撃ステップに対し、ブルーチームはおそらく1日目は40％、2日目は33％を自動的にブロックしたことを特定できました。
ただし、実務者ならだれでも知っているように、サイバー防御はローデータが示すよりも複雑で、とりわけ高度な攻撃に対処する場合はなおさらです。現実の戦争であれサイバー攻撃であれ、長年の経験から得た教訓は、ローデータの観察と分析をしても、攻撃者と防御者の両方にコンテキストを与えるようにフレーム化されない限り、役に立たないということです。
MITRE ATT＆CKを使用することで攻撃者の行動と動作を効果的にモデル化できますが、Time Based Security（TBS）またはOODAループ（観察、状況判断、意思決定、行動観察）のようなモデル（1）では、ブルーチームのメンバーとセキュリティオペレーションチームが戦術的な防御的決定をするために必要なコンテキストを提供します。
Time Based Security – 保護、検知と対応
Time Based Security（2）は、1999年にウィン・シュワルタウ氏によって発表され、現在でも最も適切かつ効果的で、あらゆる防御者が適用できる非常に簡易なセキュリティモデルの1つです。シュワルタウ氏が著作で列挙した原則は、最高情報セキュリティ責任者（CISO）、SOCアナリスト、セキュリティアーキテクト、インシデントレスポンダーを問わず、あらゆるブルーチームのメンバーにとって重要です。TBSは、たとえば、製品や技術がどの程度の「セキュリティ」を提供しているのか、また、今回の場合でいえば、APT29のような動作をする攻撃者に対して自社のシステムがどの程度安全なのか、といった疑問を解決するための体系的で再現可能な方法を提供します。
TBSは、方法論的、定量的、数学的に証明された方法を提供し、情報セキュリティとリスク管理を統合して、セキュリティ予算の決定をサポートします。たとえば、EDRのような製品や技術が提供する「セキュリティ」の程度を評価する場合、セキュリティ運用チームやCISOは以下の質問に対する回答を見付ける必要があります。
1.システムはどれくらいの期間危険にさらされていたのか？
2.アクセス侵害を検知するまでどれほどかかるか？
3.対応までにかかる時間は？
たとえば、現実の世界で金庫を買って財産をしまっておく場合、その金庫を誰かが破るのにどのくらいの時間がかかるのかは知っているでしょう。性能の評価にあたっては、一般的に、強盗であれ火事であれ、被害にあったときにあなたの大事なものがどれくらいの時間にわたって守られていたかによってランク付けされます（3）。しかし、ただ金庫を設置して、ぼんやりと悪者が侵入するのを待っているなんてことはしないでしょう。周りに、人感センサー、熱感知器、窓アラーム、振動センサー、カメラ、セキュリティガードなどの検知システムを置いて監視します。その場合、攻撃者がこれらのいずれかのセンサーに掛かるのにどれくらいの時間を要するかを測定することは可能でしょうか。もちろんです！警報が鳴ったら、何をすればいいのでしょうか？反応し、警察を呼び、被害を最小限に抑えます。対応時間を測定できますか？もちろん！現実のセキュリティの世界では時間こそがすべてですから。
図1 シュワルタウ氏の発言引用。「セキュリティ対策によって提供される保護時間よりも侵入の検知と対応に時間がかかる場合、つまりP
TBSは、現実の世界と同様にサイバーセキュリティの世界でも、「保護」を「検知と対応」と並行して実行することを確立しています（図1を参照）。侵入者が保護メカニズムを迂回するためにリソースを費やすことをいとわず、検知や対応がない場合、攻撃者は常に勝つことができます。結局のところ、システムのセキュリティ侵害は時間の問題です。
APT29との闘い ― すべては「時間」
多くのベンダーはローデータと統計にのみ焦点を当てていますが、私たちのアプローチは、TBSモデルを参考にして、ブルーチーム、SOCアナリスト、サイバー防御者がこの攻撃に対してどのように対抗するかをモデル化することに焦点を当てています。この評価のために、私たちブルーチームは次の当社製品を使用しました。
・Endpoint Protection – 保護は今回のMITRE ATT＆CKのフォーカスではなかったため、最悪のシナリオを想定し、監視モードでMcAfee MVISION Endpointを無効にして実行。それでも、マカフィーの保護メカニズムによって発せられる警告は、極めて高度に戦術的な検知メカニズムとみなすことが可能です。SOCアナリストならご承知のとおり、ブロックとは「阻止し放置する」ことでは決してなく、「阻止し調査する」ことです。
・Endpoint Detection MITRE ATT&CKにフォーカスしたMcAfee MVISION EDRによる検知
MVISION EDRの対応能力はこの評価の対象ではありませんでしたが、迅速な対応は、TBS方程式（P > D+R）おいて、危険にさらされる時間の短縮とそれによる攻撃の影響を限定的にするための重要な要素であることは明らかです（4）。
評価の結果を使用して、攻撃のタイムラインに従ってデータをモデル化し、MITRE ATT＆CKのレッドチームが1日目と2日目に実行したテクニックを、それぞれ実行したステップ（攻撃マイルストーン）別にグループ化しました。SOCとしての私たちの目的は、攻撃のタイムラインのできるだけ早い段階でブロック、検知、対応を行うことです。攻撃者が認証情報を盗んで横移動を開始すると、攻撃の優位性と影響が指数関数的に増大することがわかっています。このため、「横移動」段階に入る直前に境界線を引きます。これを「ブレイクアウトポイント」と呼びます。
評価した日ごとにデータを表すために、以下に加えてMITRE（5）で使用される検知カテゴリをリストにします。
・ブロック：MVISION Endpointによるトリガー検知によって、アクティビティがブロックされるこれらの警告は攻撃者の動きを遅らせると同時に、SOCによる高度に戦術的な検知を可能にします。
・ホストの呼び出し：エンドポイントから手動で引き出されたデータを表示します。 MVISION EDRでは、このデータをクラウドまたはエンドポイント自体に置くことができ、リアルタイム検索、収集エンジン、または自動調査を通じて読み出すことができます。
以下の図2および3を観察すると、結果は次のようになります。
1.エンドポイントで防御が有効になっている場合（McAfee MVISION Endpointのデフォルト設定）、攻撃者が実行したステップをブレイクアウトポイントに達する前に防御者がブロックした割合は、1日目が29％、2日目が40％でした。SOCとしては、これは攻撃者を数回にわたって妨害するという目標を達成し、攻撃を遅くして保護時間（P）を延ばしました。
2.攻撃者が実行したステップをブレイクアウトポイントに達する前にブルーチームが検出できた割合は、1日目が86％、2日目は60％でした。これらの戦術とテクニックの早期検知（D）は、追加のコンテキストが提供されて強化されました。テレメトリとホストの呼び出しで提供された追加のコンテキストによって拡張され、SOCは危険への暴露を減らし、対応と修復作業をスピードアップできます（R）。
3.攻撃者が実行したステップをブレイクアウトポイントに達する前にブルーチームが確認できた割合は、1日目が100％、2日目は80％でした。この可視性は、追加のツールを使用しなくてもSOCですぐに利用できたため、時間の節約になりました。
図2 Pupy、Meterpreter、カスタムスクリプトを使用して10ステップでエミュレートされたAPT29（1日目）
図3 POSHC2とカスタムスクリプトを使用して10ステップでエミュレートされたAPT29（2日目）。ステップ19は、エミュレーションの問題のため、MITREによって削除されている
結論
1日目と2日目の両方で、ブルーチームはブレイクアウトポイントに達する前に、攻撃の初期兆候を複数回にわたり検知することができました。保護機能も攻撃者を数回にわたって妨害しました。これにより、防御者は、影響を受けたシステムの分離を含め、脅威を優先付けし、外観し、調査し、封じ込め、根絶するために、EDRの機能を使用して対応する時間を確保できます。さらに、脅威のクラスター化や機械学習支援調査などのMVISION EDRの機能は、対応の加速を支援し、危険に露出される時間を短縮することで（Exposure（露出）＝Detection（検知）＋Reaction（対応））、SOCはこの侵入のリスクを管理し、セキュリティ侵害の影響を軽減させることができます。
要約すると、セキュリティソリューションは、コンテキストと適切な防御フレームワークがない限り、ローデータによって評価することはできません。MITRE APT29評価は、マカフィーが、保護を組み合わせて効果的なTime Based Securityを提供すると同時に、攻撃チェーンの重要なポイント全体で早期の検知と迅速な対応を可能とすることによって、セキュリティ運用チームとサイバー防御者が危険にさらされる時間を短縮し、高度なものも含む攻撃の影響を制限できるということを示しています。
* MVISION Endpointは、Windows 10用に最適化されたマカフィーのエンドポイント保護テクノロジーの一部です。
[1]https://www.sans.org/cyber-security-summit/archives/file/summit-archive-1524596581.pdf
[2]https://winnschwartau.com/wp-content/uploads/2019/06/TimeBasedSecurity.pdf
[3]http://www.keyfinders.org/burglary.htm
[4]https://www.mcafee.com/blogs/enterprise/endpoint-security/response-required-why-identifying-threats-with-your-edr-isnt-enough/
[5]https://attackevals.mitre.org/APT29/detection-categories.html
※本ページの内容は2020年4月21日（US時間）更新の以下のMcAfee Blogの内容です。
原文：SOC vs MITRE APT29 evaluation – Racing with Cozy Bear
著者：Francisco Matias Cuenca-Acuna and Ismael Valenzuela
