たまに役立つセキュリティ豆知識 第28回

非公開情報を引き出すことも可能！

AIを洗脳して操る「プロンプトインジェクション」ってなに？

「プロンプトインジェクション」ってなに？

巧みに指示を出して規制を突破する手法

Ｑ：「プロンプトインジェクション」ってなに？

Ａ：対話型AIに対して、特定の指示（プロンプト）を出すことで実行する攻撃手法。

^{おすすめの関連記事
実はフィッシング詐欺だけで1年間に約120万件も報告されている}

　ある種の脆弱性を突いた攻撃と言える。特定の指示を受けたAIシステムは開発者が想定していない動作をしてしまい、誤動作してしまう。

　その結果、攻撃者はAIから本来公開するべきでない情報を引き出すことが可能になり、対話型AIを運用している企業の機密情報や従業員のパスワードなどが漏洩する危険性もある。

　実際、2022年9月にはGPT-3エンジンを採用した対話型AIに対して「前の指示を無視せよ」と指示を出したことでAIから非公開のドキュメントを引き出したり、SQLインジェクションを実行したりした事例が報告されており、対話型AIの普及に伴ってプロンプトインジェクションは必ず対策すべき課題となっている。

　具体的な対策としては、ユーザーからの入力をチェック、フィルタリングすることで、悪意あるプロンプトを防ぐこと、またAIモデルの開発においてプロンプトインジェクションに対する耐性を与える設計をすることが挙げられる。