人間の対応よりも速いAIの有害なアクションをどう効果的に封じ込めるか

文●フォーティネットジャパン 編集●ASCII

提供: フォーティネットジャパン

  • この記事をはてなブックマークに追加
  • 本文印刷

本記事はフォーティネットジャパンが提供する「キルスイッチを超えて: マシンスピードでのAIエージェントの封じ込め」を再編集したものです。

米国で掲載ブログの抄訳です 2026年11月12日木曜日

AIエージェントは、セキュリティチームがその決定を評価できる前に、複数のシステムにわたって情報を取得し、ツールを使用し、アクションをトリガーすることができます。エージェントが許可された目的外で動作し始めた場合、組織は直ちにリスクを封じ込め、ビジネスプロセスのどの部分が安全に継続できるかを判断する必要があります。しかし、有害なアクションは、人間の防御者が対応できるよりも速く展開されます。

このギャップを埋めることは、世界経済フォーラムサイバーセキュリティセンターのサイバーフロンティア: AIとサイバーセキュリティイニシアチブへのフォーティネットの最近の貢献の焦点です。フォーティネットの参加には、先月サンフランシスコで開催された対面会議と、継続的なイニシアチブワークショップが含まれます。このコラボレーションを通じて、エージェントガバナンスを実施可能な制御に変換することについて、実務者の視点をもたらします。

効果的な封じ込めには、誤用の兆候を検出し、エージェントのアクションを制限する制御を自動的にトリガーする、AI対応のセキュリティが必要です。実施は、プロンプトを超えて、エージェントのツール、クレデンシャル、アクティブなコンテキスト、保存されたメモリにまで拡張する必要があります。これらの制御は、セキュリティチームがインシデントを評価し、適切な対応を選択する時間を与える必要もあります。エージェントのキルスイッチは、より狭い介入ではリスクを確実に封じ込めることができない場合の、不可欠な最後の手段として残ります。しかし、事業継続性をサポートするように設計する必要があり、安全で許可された作業が継続する間、影響を受けたエージェントを停止できるようにする必要があります。

すべての組織がAIエージェントのデプロイメントを保護するために実行できる重要なステップは次のとおりです:

1. エージェントが許可されていることを確立する

誤用の検出は、AIエージェントの正当な役割を明確に理解することから始まります。デプロイメントの前に、組織はエージェントのアイデンティティ、目的、責任者、および許可された範囲を定義する必要があります。この範囲は、呼び出すことができるツール、アクセスできる情報、委任できるアクションを指定する必要があります。

これらの境界が確立されると、AI対応の監視は、エージェントのアクティビティが割り当てられたタスクと一致しているかどうかを評価できます。その評価は、クレデンシャルのチェックを超える必要があります: 有効なクレデンシャルと許可されたツールを使用しているエージェントでも、不適切な操作を要求したり、その目的に関連しない情報にアクセスしたりする可能性があります。

監視が逸脱を検出した場合、最優先事項は潜在的な被害を制限することです。原因が侵害、誤った指示、または日常的なエラーであるかどうかにかかわらず、不確実性が解決される前に封じ込めを開始する必要があります。事前定義された介入基準は、ブロックするアクション、制限する権限、および人間によるレビューが必要なケースを指定する必要があります。

これらの基準を事前に定義するには、攻撃動作と正当な操作の両方を理解する必要があります。フォーティネットとFortiGuard Labsは、その取り組みに重要な脅威調査と運用経験をもたらし、ツールの使用とデータアクセスにおける疑わしいパターンを特定し、それらのシグナルを比例した制御にリンクすることを支援します。

2. ディセプションを使用して検出を強化する

ディセプション技術は、有用な検出シグナルを生成できます。フォーティネットのディセプション技術には、クレデンシャルの誤用とラテラルムーブメントを識別するために、おとり資産とクレデンシャルをデプロイすることが含まれます。エージェント型ワークフローは、このアプローチに基づいて構築できます: たとえば、エージェントの許可されたタスク外のカナリアクレデンシャルまたはおとりツールは、その範囲を超えようとする試みを明らかにする可能性があります。そのシグナルは、人が状況を評価する間、ターゲットを絞った制限または一時停止をトリガーする可能性があります。

脅威リサーチャーにとって、重要な質問は、これらの技術がエージェントの動作にどれだけ確実に変換されるかということです。テストでは、良性のディスカバリや設定エラーを含むコンテキストにおいてシグナルをどのように解釈するか、そしてどのような対応が必要かを判断する必要があります。エージェント固有のアプリケーションも、組織が封じ込めのためにそれらに依存する前に検証する必要があります。

3. 検証済みの作業を保持しながらリスクを封じ込める

対応は、潜在的な被害と信頼できるものとして残っているものの両方に対処する必要があります。疑わしいアクティビティを調査する仮想のセキュリティオペレーションエージェントを考えてみましょう。エージェントがビジネス上の依存関係を検証せずに本番システムを隔離することを推奨する場合、その推奨に基づいて行動すると、封じ込めようとしている脅威と同じくらいの被害を引き起こす可能性があります。

事前承認された封じ込めポリシーがアクションを承認していない限り、承認ゲートは実行前に隔離リクエストを一時停止する必要があります。これにより、アナリストは潜在的な運用上の影響を評価する時間を得ることができます。承認された証拠収集は、プロセスが安全で適切に制限されている限り継続できます。エージェントのアイデンティティまたは作業コンテキストが侵害されている可能性がある場合は、サポート作業を信頼できるツールを使用する信頼できるプロセスまたはアナリストに移動し、疑わしい証拠を信頼できないデータとして扱います。

段階的な封じ込めは、この区別を運用可能にするいくつかの方法を提供します:

・承認されたアクティビティを制限する。ツール呼び出しレート、同時タスク、実行時間、および再試行または委任されたステップの数を制限します。これにより、自動化ループが制約され、調査する時間が生まれます。承認されていないアクションまたは差し迫った被害には、即座のブロックまたはより強力な封じ込めが必要です。

・権限と接続性を制限する。書き込みアクセスを削除し、特定のツールを無効にするか、ネットワーク宛先を制限します。タスクスコープのクレデンシャルを短い有効期間で使用することで、無関係なサービスを中断することなく権限を取り消すことができます。読み取り専用アクセスも、機密情報が他の場所に送信される可能性がある場合は精査が必要です。

・アクティブコンテキストを制限する。コンテキストウィンドウには、次の決定のためにモデルに提供される指示、履歴、および取得されたコンテンツが含まれます。アプリケーションは、そのウィンドウに入るタスクデータの量を制限し、承認されたソースへの取得を制限できます。コンテキストが汚染されている可能性がある場合は、スナップショットを保存し、信頼できるタスク定義と検証済みの状態から再構築します。単にウィンドウを短縮するだけでは不十分です: 悪意のあるコンテンツを残したまま、必要な指示を破棄する可能性があります。

・永続的メモリを制限する。保存された会話履歴、要約、および取得記録は、後の決定に影響を与える可能性があります。エージェントが読み書きできる記録を制限し、タスクまたはユーザーごとにメモリを分離し、有効期限ルールを適用し、疑わしいエントリを隔離します。アクティブコンテキストをクリアしても、汚染された永続的メモリは削除されず、どちらの操作もエージェントのツール権限を取り消しません。

・追加の承認を要求する。リスクの高いアクションを承認された人によるレビューのために保留します。承認を特定の操作、ターゲット、パラメータ、およびスコープに紐付けます。重要な変更には別の決定が必要です。

・影響を受けた作業を一時停止または隔離する。エージェントまたはワークフローの拠点を一時停止し、証拠を保存し、疑わしい出力がダウンストリームシステムに到達しないようにします。他の作業は、その依存関係と制御が独立して検証できる場合にのみ継続します。疑わしいソースからの証拠は信頼できないデータとして扱います。

これらのオプションは、インシデントに応じて組み合わせることができます。これらは必須のシーケンスではありません: アクティブな侵害または差し迫った被害は、即座の停止を正当化する可能性があります。

4. エージェントが行動する場所で制限を実施する

ゲートウェイモデルは、これらの制限を実施する実用的な方法を提供します。モデル、ツール、API、およびサービスへのエージェントリクエストは、実行前にそれらを評価する制御ポイントを通過する必要があります。ポリシー決定ポイントは、リクエストが許可されるか、承認が必要か、または拒否されなければならないかを判断します。ゲートウェイ、ツールエグゼキュータ、または受信サービスの実施ポイントがその決定を実施します。両方とも、行動するエージェントの権限の外で動作する必要があります。

エージェント対応の実施は、各リクエストを識別可能なエージェント、責任のある所有者、委任されたタスク、および承認されたスコープにリンクする必要があります。操作とそのパラメータ、宛先、リソースの機密性、および関与する委任を評価する必要があります。上記のセキュリティオペレーションの例では、これは証拠収集と本番環境の分離に対して個別の認可要件を設定することを意味します。

AIガードレールは、プロンプト、取得されたコンテンツ、応答、および提案されたツール呼び出しを検査して、インジェクション、データ漏洩、またはその他のポリシー違反の兆候を確認できます。ツールの認可は、どのアクションが許可されているかを依然として独立して検証する必要があります。アクションが安全である、または承認が付与されたというエージェントの主張は、認可を構成するものではありません。必要な承認またはポリシーチェックが失敗した場合、影響を受ける高リスクアクションはブロックされたままにする必要があります。

アーキテクチャは、バイパスパスも考慮する必要があります。エージェントが別のツールを通じて同じ機能にアクセスできる場合、または制限のないエージェントにタスクを委任できる場合、単一のコネクタをブロックすることは効果的ではありません。すべての関連する実行パスをカバーし、リクエストを受信するシステムで認可を検証する必要があります。エージェントアプリケーションとストレージコントロールは、コンテキストとメモリの制限も管理する必要があります。ゲートウェイだけでは、ワークフローのすべての側面を強制することはできません。

この分離は、OWASPのAIエージェントセキュリティガイダンス、 と整合しており、エージェントのコンテキスト外での認可の実施、特定のツール呼び出しに対する承認の検証、およびメモリの分離と制限を推奨しています。

フォーティネットのAIセキュリティに関する取り組みは、このアーキテクチャを反映しています。FortiAIGateは、プロンプト、レスポンス、エージェントツールトラフィックに対するガードレールを備えたランタイムゲートウェイを提供し、自動化されたAI検証、エージェントセキュリティ、およびリアルタイム保護を追加します。これらの機能は、独立したインスペクションとポリシー実行をサポートします。組織は、ここで説明されているタスク固有の権限、メモリ制御、および継続性手順も実装する必要があります。

5. インシデント発生前に人間による意思決定を定義する

自動化された実行により、タイムリーな介入が可能になりますが、それを管理するポリシーを定義するのは依然として人間です。デプロイメント前に、チームは、どのシグナルが制限をトリガーするか、誰が介入できるか、インシデントがエスカレーションまたは完全停止を必要とするのはいつかについて合意する必要があります。

承認を必要とするリスクの高いアクションは、決定が下されるまでブロックされたままにする必要があります。エスカレーション期限と安全なフォールバック手順は、レビュー担当者が利用できない状況を考慮する必要があります。組織は、スタッフ配置とエスカレーションプロセスが、エージェントによって生成される意思決定の量に対応できるかどうかもテストする必要があります。

レビュー担当者は、意思決定をサポートするための証拠も必要です。エージェントが何を試みたか、どのアクションを完了したか、どの制限が有効か、どのシステムまたはデータが影響を受ける可能性があるかです。そのコンテキストがなければ、アラートは、誰かに対して、その人が下す準備ができていない決定の責任を負わせることになります。

6. 事業継続性のための緊急停止スイッチを設計する

緊急停止は、疑わしいエージェントの権限を取り消すと同時に、安全性が保たれる限り、基盤となるビジネスプロセスを保持する必要があります。これには、オーケストレーション層を通じて影響を受けた実行を停止すること、そのタスククレデンシャルとセッションを取り消すこと、子エージェントと委任されたジョブに制限を伝播することが含まれます。また、外部実行ポイントで新しいツール呼び出しをブロックし、キューに入れられた作業をキャンセルする必要があります。実行中の操作には明示的な処理が必要です。サポートされている場合はそれらをキャンセルし、すでに完了したものを特定し、可能な場合は完了した変更を調整または補償します。

継続性は、事前にテスト済みのフォールバックを用意しておくことに依存します。未完了の作業を保護されたキューに保持し、検証されたタスクをアナリスト、制約されたプレイブック、または独立して信頼されたサービスに引き渡します。たとえば、Service Organization Controlsは、疑わしいエージェントの応答権限を一時停止しながら、アラートの受信とルーティングを継続できます。フォールバックは、同じ侵害されたコンテキスト、メモリ、またはクレデンシャルを自動的に継承してはなりません。

チェックポイントとアクションレコードをエージェントの制御外に保持して、代替エージェントまたはアナリストが完了したアクションと保留中の作業を区別し、重複実行のリスクを軽減できるようにします。これらのレコードは制御された引き継ぎをサポートしますが、継続性にはテスト済みのフォールバックも必要です。停止スイッチだけでは、ビジネスプロセスを安全に実行し続けることはできません。安全なフォールバックが存在しない場合、影響を受けるプロセスを一時停止する必要がある場合があります。

エージェントが再開する前に、対応者は影響を受けたシステムを検証し、インシデントの根本原因に対処し、信頼できる設定、コンテキスト、およびメモリ状態を検証する必要があります。指定された担当者が復元を承認し、適切な場合は権限を段階的に返す必要があります。演習では、取り消し、委任されたタスク、フォールバック操作、および安全な再開を含む、ワークフロー全体をテストする必要があります。

コラボレーションを運用ガイダンスに変える

このような制御を実装するには、エージェントエコシステム全体での協力が必要です。企業は、可視性と実行可能な境界について、モデル開発者とツールプロバイダーに依存しています。セキュリティリサーチャーは、検出方法を評価するために運用フィードバックを必要としています。政策立案者は、技術的制御が説明責任をサポートできる場所と、ギャップが残る場所を理解する必要があります。

Cyber Frontiersは、エージェント型AIのセキュリティ確保に関する官民の視点を結集します。私たちは参加を通じて、フォーティネットの運用経験を共有すると同時に、システム、制約、障害の影響が当社とは異なる組織から学んでいます。アプローチを比較することで、責任を明確にし、エージェントが組織の境界を越えて相互作用する際に、提案された保護措置が機能するかどうかを評価することができます。

実用的な価値は、これらの保護措置がテストされた際に組織が学んだことを共有することから生まれます。どの観察が介入を必要としたか、制限がどれだけ迅速に発効したか、委任されたタスクが停止されたか、そして安全な運用を継続できた要因は何かといった点です。組織は、エージェントの自律性を拡大する前に、これらの教訓を自社のワークフローのテストに適用することができます。これらのテストでは、制御が不正使用を検出し、適切な制限を適用し、責任者に次に何が起こるかを決定するための証拠と権限を与えることができることを実証する必要があります。
 
フォーラムのサイバーフロンティアイニシアチブと、エージェント経済全体での安全な導入を支援する取り組みについて詳細をご覧ください。

■関連サイト

本記事はアフィリエイトプログラムによる収益を得ている場合があります