Anthropicは7月30日、AIモデル「Claude」のサイバーセキュリティ評価中に、実在する3組織のシステムへ不正アクセスしていたと発表した。本来は閉じているはずの試験環境から、設定ミスでインターネットへ接続できる状態になっていたという。
調査のきっかけは、OpenAIが7月21日に公表したインシデントだ。OpenAIのモデルは、未知の脆弱性を使って隔離環境を抜け出し、Hugging Faceの本番システムにアクセスしていた。
Anthropicが14万1006件の評価記録を調べたところ、計6回の試験で3件の侵入を確認した。Claudeは仮想環境内の標的から秘密情報を奪う演習に取り組んでおり、外部で見つけた実在システムも試験の一部だと誤認した。
Anthropicは、モデルが独自の目的で暴走したわけではなく、与えられた課題を誤った状況認識のまま実行したと説明している。今後は外部接続の確認や通信記録の監視、評価事業者を含む管理体制を強化するという。
OpenAIだけでなくAnthropicでも現実の被害が起きていたという事実は恐ろしい。モデルに悪意がなくても、ミスと誤認が重なれば、結果は本物の攻撃と変わらない。
一連のインシデントを見ると、AI開発の速度を必要に応じて調整できる国際的な仕組みを求めた文書「Pacing the Frontier」が提出されたのも理解できる。開発競争で勝つことは重要だが、大規模な事故が起きてからブレーキを整えても遅い。
本記事はアフィリエイトプログラムによる収益を得ている場合があります
