生成AIアシスタントはセキュリティ人材不足の救世主となるか？
「Copilot for Security」先行ユーザー企業が検証結果を披露
2024年04月19日 08時00分更新
日本マイクロソフトは、2024年4月17日、セキュリティ担当者向けの生成AIアシスタントで、同社の“Copilot”ブランドのひとつである「Microsoft Copilot for Security」に関する説明会を開催した。
Copilot for Securityは、2023年10月よりアーリーアクセスプログラムが展開され、日本を含むグローバルの330社以上のユーザー企業やパートナーが参加。そして、2024年4月1日より日本語対応とあわせて一般提供を開始している。説明会には、同プログラムに参加したTrust Baseとシンプレクスが、Copilot for Securityの検証結果を披露した。
Copilot for Security
セキュリティ業界の課題を生成AIの力で解決する「Microsoft Copilot for Security」
米マイクロソフトのセキュリティ部門のマーケティング責任者であるアンドリュー・コンウェイ（Andrew Conway）氏は、現在多くの企業がセキュリティにおける複雑な問題に直面していると指摘する。「1社平均で80ものセキュリティソリューションを利用しており、グローバルで400万人のセキュリティ人材が不足している」のが実態だ。
このような課題を生成AIの力で解決するのが、Copilot for Securityだ。マイクロソフトが日々処理する78兆件以上のセキュリティシグナルと脅威インテリジェンスを基に、適切なインサイトを提供し、セキュリティ運用の効率化を促す。「セキュリティは恐らく、最も重大な生成AIのユースケース。マイクロソフトは、生成AIがセキュリティを変革すると信じて、セキュリティポートフォリオ全体に組み込むことに尽力している」とコンウェイ氏。
Microsoft Corporation Vice President Security Marketing アンドリュー・コンウェイ（Andrew Conway）氏
Copilot for Securityには2つの提供形態がある。ひとつは、ユーザーのセキュリティ環境やインシデント対応の課題に関する質問に生成AIが回答してくれる「スタンドアロンタイプ」。Copilotの参照先として、マイクロソフトのセキュリティ製品を接続することで、各製品に特化したユースケースや複数製品にわたった問題の解決が図れる。一部、サードパーティ製品もつなぐことが可能だ。
もうひとつの形態は「組み込み型」だ。使い慣れたセキュリティ製品内に生成AI機能が組み込まれ、直観的に利用できる。コンウェイ氏は「アーリーアクセスプログラムを通じて学んだことは、利用方法の大半が組み込み型だったことだ」と付け加える。
Copilot for Securityはスタンドアロンタイプと組み込みタイプの2形態
組み込み型Copilotは、まずはMicrosoft DefenderとMicrosoft Defender XDRのポータルに組み込まれ、その後はMicrosoft EntraやMicrosoft Purview、Microsoft Intune など、他のセキュリティ製品にも正式に組み込まれていく。機能としては、インシデントの要約や対応の提案、複雑なインシデントにおけるスクリプトやコードの分析、自然言語からのKQL（クエリ言語）の生成、インシデントレポートの作成などを提供する。
マイクロソフトがベテランのセキュリティエンジニア約200人を対象に実施した調査では、Copilot for Securityを使用することで業務が22％高速化し、精度も7%上昇した。97%のエンジニアが「同じ業務でまたCopilot for Securityを使用したい」と回答しているという。
Trust Base：運用効率化に手ごたえ、ただし典型的な生成AIの課題も発生
ここからは、先行ユーザー企業であるTrust BaseとシンプレクスがCopilot for Securityを利用した中での成果や課題について紹介する。まずは、三井住友トラスト・ホールディングスのデジタル戦略子会社であるTrust Baseの取り組みだ。
Trust Baseでは、AIを活用した迅速なインシデント対応を実現して、セキュリティ人材不足に対する解決策になり得るかを検証すべく、ラックと共同でCopilot for Securityの有効性を評価する実証実験を進めている。Trust Baseが検証環境を構築し、ラックは取り組みを支えるセキュリティベンダーとして参画した。
Trust BaseのDXプラットフォームセンター センター長である中川哲氏は、アーリーアクセスプログラムに参加した背景として、「自社のセキュリティ担当だけではリソースとスキルが不足していた」と語る。同社にはセキュリティチームは、脆弱性診断エンジニアが2名、セキュア開発担当が1名、クラウドセキュリティ担当が2名という体制であり、「共通するのはインシデントの経験がないこと」と中川氏。
Trust Base DXプラットフォームセンター センター長 中川哲氏
また、各クラウドプラットフォームやSaaSアプリケーションなど、脅威から守るべき範囲が広がっていること、脅威インテリジェンスを用いたプロアクティブなセキュリティ運用に取り組めていないことも課題だったという。SOCベンダーの支援だけでは全ての課題を解決できず、セキュリティ運用を変革する要素としてCopilot for Securityに期待を寄せた。
Trust Baseのセキュリティチームが持っていた課題感
実証実験では、同社のMicrosoft 365 E5の環境に疑似攻撃を仕掛けるペネトレーションテストを実施して、Copilot for Securityでインシデント分析を行った。現在も評価は続いているが、2024年の1月から2月に実施した結果が披露された。
定性的には、5つの主要機能（インシデント情報の要約・インシデントやアラートの分析・インシデントへの対処方法の推奨・KQLの自動生成・報告レポートの自動生成）を使用した所感をまとめ、定量的には、3つのプロンプトを利用して、「回答の有無および内容」「回答時間」「回答の正確性」「回答の有用性」の4項目で評価を実施している。
ペネトレーションテストでの評価方法
ペネトレーションテストの概要
定性評価でメリットに感じた点としては、「運用作業をCopilot for Securityがアシストすることによって、作業時間の短縮を図れる」「高度なスキルを持ったSOCアナリストが担当するインシデント分析をセキュリティ担当者でも運用できる」といった所感が得られた。
一方、課題を感じる点としては、「不正確な内容が含まれる場合がある」「より良い回答を得るために、プロンプトエンジニアリングを学習する必要がある」といった、生成AI活用における典型的な悩みが挙がった。
5つの主要機能を使用したセキュリティ担当者の所感
定量評価における「回答の質」に関しては、固定化された質問に対しても、インシデントの要約内容にばらつきがあった。「プロンプトエンジニアリングの質が大きく影響する。ただ、4月1日にGAされた“カスタムプロンプトブック”を用いて、質の高い回答を得られるプロンプトを作成することで解決できる見込み」と中川氏。
「回答の速さ」においては、概ね人が調査するよりも早く回答が得られた。回答に時間がかかったのは、テーブルやカラム名の情報が必要となり、より正確性が求められるKQLの生成などだ。
「回答の正確性」では、Entra IDから取得したと思われるユーザー名に虚偽が発生するなど、一部の回答に誤りがあった。「生成AIの全般的な課題として認識しているため、地道にプロンプトエンジニアリングを改善しつつ、サービスの改善に期待したい」と中川氏。
このような実証実験のノウハウを還元すべく、ラックでは、Copilot for Securityの導入・活用支援サービスを2024年5月中に提供開始予定だ。ラックのエンジニアリングサービス企画部 エンジニアリングサービスデザイングループ グループマネージャである土井秀記氏は、「単純なツールの使い方や検証にとどまらず、ラックのセキュリティベンダーとしての知見を、業務効率化、セキュリティ不足に寄与したい」と説明した。
ラック 事業統括部 エンジニアリングサービス企画部 エンジニアリングサービスデザイングループ グループマネージャ 土井秀記氏
シンプレクス：インシデント対応工数20%削減を目標に検証を進める
続いては、金融事業領域を中心に、コンサルティングやシステム開発、運用保守を手掛けるシンプレクスの検証だ。同社のセキュリティチームは、インシデントの監視・対応、IDaaSやデバイス管理などを担っている。
シンプレクスのクロス・フロンティアディビジョン アソシエイトプリンシパルである中野昇氏は、Copilot for Securityに対して、インシデント対応工数の削減や質向上、新規メンバーのキャッチアップ工数の削減、IDaaSやデバイスの管理工数の削減などの効果に期待すると説明する。
シンプレクス クロス・フロンティアディビジョン アソシエイトプリンシパル 中野昇氏
シンプレクスの検証では、インシデントの監視・対応の初期調査や詳細調査、KQL作成、新規参画者のキャッチアップにおいて効果を発揮したという。
「インシデントの初期調査」においては、インシデント概要の出力によって、初期調査に必要な工数が減少。特に社内でまだナレッジのないインシデントに対する対応の速度や質が向上した。「インシデントの詳細調査」では、マルウェアなどの疑いがある対象ファイルの調査において、Defenderの単一画面で追加確認できるなどで、調査速度を向上できている。
「KQL作成」においては、インシデントのハンティングKQLの作成にて、必要となるサンプルを提示され、工数の削減と調査の質向上につながっている。「新規参画者のキャッチアップ」についても、不明点をCopilot for Securityに確認することで、自学習にも有効だという手ごたえを得ている。
「Microsoft Defender製品を多く使っていることもあり、インシデント対応工数の削減効果が高いと見込んでいる。今年度に20%削減することを目標にしている」（中野氏）
Copilot for Securityの導入効果
あくまでも“Copilot”として活用を、経験が浅いエンジニアの壁打ち役には有効
質疑応答では、「生成AIの間違いに気付けるようなセキュリティ人材がいないと使いこなせないのではないか」という質問が挙がった。
Trust Baseの中川氏は、「現状は経験を積んだセキュリティアナリストの判断が必要で、セキュリティアナリストに置き換わるものではない」と回答。その上で、セキュリティ人材が獲得できない、守備範囲が拡大しているという現状があるため、引き続きCopilot for Securityを頼りにしていくという。
シンプレクスの中野氏は、「裏取り作業は必要だが、初期の確認においては有効。生成AIの強みと弱みを意識した上で活用すると効果が大きくなる」と答えた。
ラックの土井氏は、「間違いのあるなしに関わらず、過検知、誤検知がある中で調査をしなければいけないのが現状。ラックでは、セキュリティ運用を担う数名の情報システム部門が、他の業務をしながらインシデントの調査する中でCopilotを利用している」と説明。「あくまでも“Copilot（副操縦士）”であり、パイロットは別にいた方が良いが、セキュリティ運用の経験が浅い担当者の壁打ち役としてはかなり機能する」と付け加えた。
