巧みに指示を出して規制を突破する手法
Q:「プロンプトインジェクション」ってなに?
A:対話型AIに対して、特定の指示(プロンプト)を出すことで実行する攻撃手法。
おすすめの関連記事
実はフィッシング詐欺だけで1年間に約120万件も報告されている
ある種の脆弱性を突いた攻撃と言える。特定の指示を受けたAIシステムは開発者が想定していない動作をしてしまい、誤動作してしまう。
その結果、攻撃者はAIから本来公開するべきでない情報を引き出すことが可能になり、対話型AIを運用している企業の機密情報や従業員のパスワードなどが漏洩する危険性もある。
実際、2022年9月にはGPT-3エンジンを採用した対話型AIに対して「前の指示を無視せよ」と指示を出したことでAIから非公開のドキュメントを引き出したり、SQLインジェクションを実行したりした事例が報告されており、対話型AIの普及に伴ってプロンプトインジェクションは必ず対策すべき課題となっている。
具体的な対策としては、ユーザーからの入力をチェック、フィルタリングすることで、悪意あるプロンプトを防ぐこと、またAIモデルの開発においてプロンプトインジェクションに対する耐性を与える設計をすることが挙げられる。
![](/img/blank.gif)
この連載の記事
-
第57回
デジタル
「e-Tax」で24時間いつでもどこでも納税せよ!? -
第56回
デジタル
紙とハンコを廃止したい気持ちがあふれると「デジタル庁」ができる!? -
第55回
デジタル
たまによく聞く「社会保障番号」ってなに? マイナンバーとの違いは…… -
第54回
デジタル
デジタルデータに唯一性を与える「NFT」ってなに? -
第53回
デジタル
よく聞く「AIのブラックボックスとホワイトボックス」ってなに? -
第52回
デジタル
普段はパスワードだけなのに今日に限って――「リスクベース認証」ってなに? -
第51回
デジタル
企業は防御力と同時に「回復力」も重要! 「サイバーレジリエンス」ってなに? -
第50回
デジタル
あなたのPCにも潜んでるかも!? ユーザーを地味に邪魔する「グレーウェア」ってなに? -
第49回
デジタル
日本のセキュリティ犯罪対策は「サイバー警察局」におまかせ! -
第48回
デジタル
暗号資産の利点を悪用する「マネーロンダリング」の現在 -
第47回
デジタル
私たちでは対策に限界が……「なりすましメール」に要注意! - この連載の一覧へ