具体例でレッドチーミング手法を解説、RAGシステムへの実践シナリオなどを追加

“攻撃者視点”で鍛える　AIセーフティ対策ガイドをIPAが改訂

　AIセーフティ・インスティテュートは、2025年4月2日、AIシステムに対する“レッドチーミング”の手法をまとめたガイドラインを改訂した。

・AIセーフティに関するレッドチーミング手法ガイド
https://aisi.go.jp/effort/effort_framework/guide_to_red_teaming_methodology_on_ai_safety/

　AIセーフティ・インスティテュートは、安全、安心で信頼できるAIの実現に向けて政府主導で発足した機関であり、IPA（情報処理推進機構）内に設置されている。

　同機関は、2024年9月、AIシステムの開発者や提供者向けに、レッドチーミングの基本的な考慮事項をまとめた「AIセーフティに関するレッドチーミング手法ガイド」を公開。レッドチーミングとは、攻撃者がどのように攻撃するかの観点から、現行の組織体制や対策を評価する手法である。

　今回の改訂では、具体的な実施例を通して、レッドチーミングを理解できるよう改訂。RAGの仕組みを実装したAIシステムに対して実際に実施したレッドチーミングを基に、手順や成果を取りまとめている。

AIセーフティに関するレッドチーミング手法ガイド改訂の概要

　また、同タイミングで、AIシステムの安全性や公平性、透明性などを評価するための考え方をまとめた「AIセーフティに関する評価観点ガイド」も改訂。マルチモーダル情報を扱うAIシステムの評価における、評価項目例などを追記している。

・AIセーフティに関する評価観点ガイド
https://aisi.go.jp/effort/effort_framework/guide_to_evaluation_perspective_on_ai_safety/

■関連サイト

• AIセーフティに関するレッドチーミング手法ガイド
• AIセーフティに関する評価観点ガイド
• ニュースリリース