「AIの暴走」ではない、オープンAIのモデルが不正侵入した理由

画像クレジット:Stephanie Arnett/MIT Technology Review | Adobe Stock

オープンAIのモデルが、テスト用のサンドボックスを脱出し、ハギング・フェイスのシステムに侵入した。ただしオープンAIは、サイバーセキュリティのガードレールをほとんど外し、外部への接続を1本だけ残していた。AIが予期しない抜け道を選ぶ挙動は10年前から知られており、この事態は予見できたはずだ。

先日、オープンAI（OpenAI）が公開した報告書を読んだ。同社のモデルの一部がサンドボックスを脱出し、別の人工知能（AI）企業であるハギング・フェイス（Hugging Face）のコンピューターシステムに不正侵入したという内容だ。大規模言語モデル（LLM）が今やここまでのことができるのかと、私が本当に背筋の凍る思いをしたのは、これが初めてだった。しかしこれは、AIの暴走ではなく、人間の傲慢さが招いた事態である。

私は危機を煽るタイプの人間ではない。むしろ、AIに関する脅威論に反論し続けてきた。それでも、今回の事件は一線を越えた。これは、この技術を開発・テストしている人々が自分たちの行為を十分に理解していないことを示す、これまでで最も明確な事例だと思う。オープンAIはこの事態を予見できたはずだし、予見すべきだった。

少なくとも関係する2社の説明によれば、経緯は次のとおりだ。数週間前、オープンAIは新しいモデルのいくつかについてハッキング能力のテストを開始した。対象には、6月にリリースしたGPT-5.6 Sol（ソル）と、オープンAIが「さらに高性能なリリース前のモデル」と表現するモデルが含まれていた。

オープンAIは自社のモデルを、5月に公開されたExploitGym（エクスプロイトジム）というベンチマークに挑ませた。このベンチマークは、広く使われているソフトウェアに存在する実際の脆弱性を悪用する方法を、大規模言語モデルに見つけさせるというものだ。

モデルの能力を確かめるため、オープンAIの研究者たちはサイバーセキュリティに関するモデルのガードレール（安全対策）をほとんど取り外した。そのうえで、インターネットから切り離されたサンドボックス内でモデルを動作させた。ただし、外部への窓口となるサードパーティ製のプロキシソフトウェアへの接続は1本だけ残し、ExploitGymを攻略するために必要なコードをインストールできるようにした。

ロイター（Reuters）の報道によると、7月9日、オープンAIのモデルはプロキシを突破しようとし始めた。モデルはプロキシのソフトウェアに未知のバグを発見し、それを利用してインターネットにアクセスした。そこからモデルは7月11日にハギング・フェイスのコンピューターシステムに侵入し、ExploitGymのタスクを完了するのに役立つデータセットや解答を探し求めたとみられる。ハギング・フェイスは7月16日にこの不正侵入を公表した。

オープンAIが自社のモデルの関与に気づいた（あるいは少なくとも公表した）のは7月21日のことで、モデルがサンドボックスを脱出してから約10日後、ハギング・フェイスが攻撃を遮断してFBI（米連邦捜査局）に通報してから約1週間後のことだった。

MITテクノロジーレビューへの声明の中で、オープンAIは次のように述べている。「私たちは現在、外部アドバイザーとともに、また安全・セキュリティ委員会（Safety and Security Committee）の監督のもとで、徹底的な調査を実施しています。調査が完了次第、得られた知見についての技術報告書を広く公開する予定です」。同社はまた、研究者たちが当時、既存の安全ガイドラインと手順に従って適切に作業していたと説明している。

警鐘

オープンAIはこの事態を前例のないものだと述べている。多くの点でそのとおりだ。シミュレーション環境の外で、大規模言語モデルが安全とされていたサンドボックスを脱出し、オープンなインターネットにアクセスして、無関係の組織を攻撃したのは今回が初めてだ。これは、最新の大規模言語モデルが、人間がほとんど、あるいはまったく関与しないまま、実際のソフトウェアの脆弱性を発見・悪用する能力をいかに高めているかを示す警鐘である。

しかし同時に、オープンAIのモデルがしたことは、この技術が何年も前からやってきたことでもある。モデルに目標を与えれば、そのモデルは予期しない方法でその目標を達成することが非常に多く、抜け穴を見つけてズルをするのだ。オープンAI自身もこの挙動を研究してきた。

10年前、同社はCoastRunners（コーストランナーズ）というビデオゲームを攻略させる実験の結果を公表した。人間のプレイヤーなら、ボートで一連のフラッグの間を通り抜けてゴールを目指し、通過したフラッグの数に応じてポイントを稼ぐのが当然の攻略法だと考える。ところがオープンAIのモデルは、同じ3つのフラッグの周りをぐるぐると回り続けることで高得点を獲得できることを発見した。その後、研究者たちによって数十もの類似事例が報告されている。AIは常に抜け道を見つけ出す。

「何度も炎上し、他のボートに衝突し、コースを逆走しながらも、私たちのエージェントはこの戦略を使うことで、正規のコースを完走した場合よりも高いスコアを達成することができました」と、オープンAIは2016年のCoastRunners実験に関するブログ記事に記している。「ビデオゲームの文脈では無害でおもしろい話ですが、この種の挙動はより一般的な問題を示しています。エージェントに何をさせたいかを正確に定義することは、しばしば困難であるか、実現不可能です」。

ハギング・フェイスへの攻撃についてのオープンAIのブログ記事を読んだとき、私はCoastRunnersのことを思わずにはいられなかった。「すべての証拠が示すのは、モデルがExploitGymの解答を見つけることに極度に集中し、比較的限定的なテスト目標を達成するために極端な手段を取ったということです。インターネットへのアクセスを得た後、モデルはハギング・フェイスがExploitGymに関連するモデル、データセット、解答をホストしている可能性があると推測しました。そのうえで、モデルは評価をズルするために利用できる秘密情報へのアクセス方法を探し、実際に見つけ出しました」。

この出来事は、報道各社の見出しの印象とは異なり、AIの暴走ではなかった。与えられた目標、すなわちソフトウェアの脆弱性を悪用する方法を見つけることを、モデルが達成した事例だ。モデルがオープンAIにとって予期しない行動を取ったこと自体は、驚くべきことではない。しかし、それは憂慮すべきことだ。

2016年当時、オープンAIはCoastRunnersのボットについてこう述べていた。「より広い観点から見れば、これはシステムが信頼性と予測可能性を持つべきだという基本的なエンジニアリング原則に反しています」。それから10年が経った今も、その基本的なエンジニアリング原則は依然として守られていない。

【この記事をMITテクノロジーレビューで読む】