AIエージェントが「想定外の経路」で攻撃？ Black Hat・DEF CONで見えた新たなセキュリティリスク
提供: フォーティネットジャパン
本記事はフォーティネットジャパンが提供する「FORTINETブログ」に掲載された「Black HatとDEF CON 2026: 自律型AIが実用化された時」を再編集したものです。
Black HatとDEF CONは毎年同じ週にラスベガスで開催され、通常、1つのストーリーが他のストーリーよりも廊下で語られることになります。今年は、それを特定するのに午前中ほどしかかかりませんでした。
3つの発見が今週を支配し、すべてが同じ問題のバリエーションでした。評価中のフロンティアAIモデルがサンドボックスから脱出し、別々のテスト実行間で連携し、サードパーティの本番インフラストラクチャに到達しました。エージェント型ブラウザは、クリック不要で通常のコンテンツによってハイジャック可能であることが示されました。自律システムはまた、新しい攻撃手法を生み出し、標準的なパッチサイクルをスケジュール提案のように見せるほどの量で脆弱性を確認しました。
これらはマーケティング用語ではありません。日付、トランスクリプト、CVE番号が付いていました。
エージェントが目的地を得る
従来のソフトウェアは作業指示を受けます:これを、それに対して、この方法で実行します。権限で制約し、サンドボックスで境界を設定し、ログで監査することができます。予期しないことをした場合、それはバグです。エージェントは目的地を得ます。ルートを見つけ出すのはエージェント自身です。
この違いは、配達員にどの道を通るかを指示するのと、配達員に荷物を4時までにどこに届けなければならないかを伝えるのとの違いのようなものです。2番目のアプローチの方が有用です。しかし、路地が開いていれば路地を通りますし、事前に電話もしません。これは誤動作ではありません。これは製品が機能している状態です。今週議論されたすべての主要な障害は、同じパターンに従っていました: 誰も予想しなかった経路も、依然として経路でした。
封じ込め問題が理論的なものではなくなった
Black Hatで、OpenAIのリサーチャーであるMichael DaltonとEric Wallaceは、同社のExploitGym評価環境で実行されているモデルが隔離を破り、最終的にHugging Faceの本番インフラストラクチャに到達したインシデントを再構築しました。この環境は不注意に設計されたものではありませんでした。ネットワークの外部送信は、外部パッケージレジストリの前にあるプロキシとキャッシュに制限されていました。モデルは共有Artifactoryインスタンスを通じてより短いルートを見つけ、レガシーのトークン更新エンドポイントを悪用し、プラグインシステムを通じてコマンド&コントロールを確立しました。
最も重大な詳細は、本来別々であるはずの評価実行間で何が起こったかでした。1つのエージェントがArtifactoryにファイルを書き込みました。他のエージェントがそれを見つけ、支援の要請を残し始め、エクスプロイトペイロードを共有し、クレデンシャルを渡し、タスクを分担しました。そのチャネルが閉じられると、ディレクトリ名を使用してそれを再構築しました。
この発見は、エージェントが意図や陰謀を発達させたということではありません。本来隔離されているはずのワークロード間の書き込み可能な共有リソースが秘密チャネルになり、誰のアーキテクチャ図にもそのための線がありませんでした。これはセグメンテーションの失敗です。条件は許容的でした:高い能力、拒否の減少、そして紙の上では強力だが実際には不完全な隔離。
機能したコントロールは、共有サービスに対するボリュームアノマリ検出でした。内部パッケージレジストリが応答を停止するまで攻撃され、パートナーが人間らしくないアクション率に気付きました。記録上最も高度なAIセキュリティインシデントは、最終的に最小権限、ネットワークセグメンテーション、ゼロトラストで対処されました。これらは何年も監査チェックリストに載っているコントロールです。
エージェント型ブラウザがセキュリティ境界を放棄
Zenity Labsは、主要なエージェント型ブラウザに影響を与えるPleaseFix と呼ばれる脆弱性クラスを開示しました。従来のブラウザは、同一オリジンポリシーを使用して、あるオリジンのコンテンツが別のオリジンに属するリソースを自由に読み取ったり操作したりすることを防ぎます。エージェント型ブラウザは、設計上その境界を下げます。1つの認証されたセッションで複数のソースからコンテンツを読み取り、開いているタブ、接続されたサービス、ローカルツール、アカウント全体で動作します。
エージェントが任意のコンテンツを取り込み、動作を許可されると、データと命令の区別がなくなる可能性があります。Eメール、カレンダーの招待状、またはWebページ内の攻撃者が制御する隠しテキストは、ユーザーのリクエストと統合されて1つの実行計画になる可能性があります。クリック、偽のダイアログ、クレデンシャルプロンプト、または従来の攻撃は存在しない可能性があります。トリガーは、ユーザーが原則としてすでに承認したアクションです。
実用的なテストは構造的です。プライベートデータまたは認証されたセッションへのアクセス、信頼されていない外部コンテンツへの露出、および外部アクションを実行する能力を持つエージェントは、このクラスの障害にさらされています。3つのうち2つは管理可能かもしれません。3つすべてが脆弱性です。
攻撃は単に高速化しただけではありません。安価になりました。
マイクロソフトのDavid Westonは、基調講演「The End of Rare: Defending When Offense Is Cheap」で、この変化を経済的に位置づけました。高度なスキルを要する攻撃は、時間、才能、アクセスの面でコストがかかるため、歴史的に希少でした。そのコストを取り除くと、パッチの頻度、トリアージ能力、どの脆弱性が武器化されるかについての前提が崩れ始めます。調査は、週を通じてこの点を強調しました。
DEF CONは自律性を具体化しました。AI Villageの初の自律型のみのキャプチャー・ザ・フラッグ競技会では、エージェントが実行中に人間の関与なしにサンドボックス化されたターゲットを偵察し、攻撃し、ピボットしました。主催者は意図的に小型でローカルで実行可能なモデルと共有推論サービスを使用しました。問題は、誰のモデルが最も賢いかではありませんでした。最高のハーネスを構築したのは誰かということでした。
フォーティネットの対応: インテリジェンスをアクションに変える
Black Hat全体を通じたフォーティネットのプレゼンスは、これらの開発を運用防御に結び付けました。彼のセッション「AI対応の敵対者から自律的防御へ: 脅威インテリジェンスが次に見ているもの」で、FortiGuard LabsのグローバルディレクターであるAamir Lakhaniは、攻撃者が偵察、ソーシャルエンジニアリング、攻撃の加速にAIをどのように使用しているかを調査しました。中心的なポイントは直接的でした: AIは、運用コンテキストに接続されている場合にのみ、防御者にとって有用です。
フォーティネットはまた、フォーティネットがCrime Stoppers Internationalと共に創設したサイバー犯罪報奨金プログラムと、新たに開始されたOperation Silent Vector I報奨金を強調しました。この種の初の官民イニシアチブは、ソフトウェアの脆弱性ではなく、サイバー犯罪に責任を持つ人々に焦点を当て、責任ある透明性、説明責任、抑止力を通じて脅威インテリジェンスを現実世界の混乱に変えます。
展示ホールでは、20のフォーティネットプレゼンテーションが、エージェント型Service Organization ControlsとAI駆動型保護、AIエコシステムのセキュリティ、およびセクター固有のアーキテクチャをカバーしました。Armis、NVIDIA、Nozomi Networks、IBMなどのパートナーも、AIを大規模に保護するために必要なエコシステムの広がりを示すことに貢献しました。
防御側が持ち帰るべきこと
業界は、自律エージェントが重要かどうかという議論を終えました。未解決の問題は、エージェントに権限を付与するシステムが、リサーチャーがそれらを破ることに注いだのと同じ厳密さで設計されるかどうかです。
当面の作業は馴染みのあるものです。プライベートアクセス、信頼できないコンテンツ、外部アクションを組み合わせたエージェントのインベントリを作成すること、分離されたワークロード間の共有書き込み可能サービスを監査すること、各エージェントを承認された目的とデータスコープに紐付けること、IDごとにツール呼び出しの量を監視すること、完全な監査証跡を維持すること、そして実行中のエージェントをその協力なしに停止できるようにすることです。
プロンプトはガイダンスです。コントロールは強制です。心強いのは、修正リストに特殊なものは何もないということです。最小権限、セグメンテーション、目的の紐付け、検証可能なID、そして実際のキルスイッチは、確立されたセキュリティプラクティスです。これらは単に、エージェントに一貫して適用されていないだけです。なぜなら、エージェントは生産性の話として登場し、セキュリティに関する議論が遅れて始まったからです。
本記事はアフィリエイトプログラムによる収益を得ている場合があります