ゼロからわかる最新セキュリティ動向 第3回

現状にあった新しい評価軸で判断しよう

ウイルス対策ソフトの「検出率」はもう古い！

ウイルス対策ソフトを比較評価する上でよく使われるものに「検出率」がある。ITセキュリティ業界にはウイルス対策ソフトを評価する第三者テスト機関が世界各地に存在する。これらのテスト機関の中には、製品の機能、使い勝手、パフォーマンスなどさまざまな観点での評価を行なうものもあるが、今回はこの「検出率」を測るテストが具体的にどのように行なわれているのかについて解説する。

　ウイルス対策ソフトを選ぶ際の指針として使われる「検出率」だが、この検出率を求めるために使われる従来型のテスト手法は、実は現状にそぐわなくなってきている。第三者テスト機関が行なう従来型の手法にはどのような問題があるのか。まずは、この従来の手法がどのようなものなのかからみていこう。

検出率を測る従来型のテストとは？

　従来型のウイルス対策ソフトのテスト方法は、インターネットに接続していないクローズドなラボ環境で行なうのが基本だ。便宜上LAN接続しているケースもあるが、基本的にはネットワークに接続されていないPCを使ってテストするケースが大半である。

　そして、テストは大きく分けて二種類がある。「テストで使う不正プログラムを100％検出できた製品に認定を行なう方法」と、「どの製品がどれだけ多くの不正プログラムを検出できるかの優劣を競う」方法だ。

　前者の認定を行なうテストの場合、前月にユーザー環境（In-the-wild）で感染が報告されている不正プログラムをまとめた「ワイルドリスト」に登録されているサンプルを使ってテストする。一方、後者のベンダーの優劣を測るテストの場合、数万単位の不正プログラムのサンプルを1ヶ月、あるいは数ヶ月といった長期間かけて収集し、それを各製品がどれだけ多く検出できるかを評価する。

The WildList Organization Internationalに登録されたワイルドリスト

　どちらのテストの場合も、テストサンプルとなる不正プログラムをHDDに保存した状態で、手動検索で検出を行なう。これによって、各製品がどれだけ多くの不正プログラムを検出できるか調べるわけだ。加えて、ファイルをコピーするという方法でリアルタイム検索を実行させ、どれだけ多くの不正プログラムを検出できるか調べることもある。

　このように従来型のテストは、用意した不正プログラムのサンプルに対して、基本的には1製品1回のテストを行なう。つまり「一発勝負のテスト」だ。

従来型のテスト手法の問題点

　本連載第2回では、Webを感染経路とした「Webからの脅威」が猛威をふるい、これに対抗するためウイルス対策ソフトも「セキュリティスイート」という形で大幅に進化したことを説明した。PCを取り巻く脅威の状況が、従来とは大きく変わっているのだ。

　にもかかわらず、「従来型のテスト」は、10年以上前から変更されることなく使われている。はたしてこれで、セキュリティスイートに進化したウイルス対策ソフトの昨今の脅威に対する本当のパフォーマンス、有効性を評価することができるのだろうか？

　こうした点を考慮すると、従来型のテストには以下のような大きな疑問がでてくる。

1. Webからの脅威が約9割を占める昨今、インターネットに接続していない環境でのテストで製品の実際の脅威に対する有効性を測れるのであろうか？
2. 1.5秒に1つ（出典：2009年AV-Test提供データに基づきトレンドマイクロ算出）という勢いで新しい脅威が登場する中、数週間かけて収集した不正プログラムのサンプルを使った一発勝負のテストによって製品のリアルタイムでのパフォーマンスが測れるのであろうか？
3. さまざまなセキュリティ対策技術が搭載されている製品の総合的なパフォーマンスを、製品の1部分に過ぎない機能だけを見て評価することが妥当なのであろうか？

　では昨今の脅威や製品の現実にあわせるには、どのようなテスト手法を採用して比較評価テストが行なわれるべきなのか。

（次ページ、「より現実的な防御力を測るテストとは？」に続く）