OpenAIは8月17日、開発中の新モデル「Astra」が同社の安全基準でサイバーセキュリティ能力の「Critical（致命的）」レベルに達する可能性があるとして、最先端モデルの学習を一時的に減速させていると発表した。
具体的には、製品投入を想定した最新モデルの強化学習を2週間停止した。最大規模として計画していた学習も保留しており、小規模な学習や評価を通じて安全性を確認している。
Astraのサイバー能力の急速な向上と、「OpenAI-Hugging Face incident」と呼ばれているセキュリティ事案が背景。Astraが直接事案に関与したわけではないが、OpenAIは研究環境の安全基準を引き上げている。
具体的には、AIが生成したコードを実行する環境の隔離や、インターネットへの接続制限を強化した。Astraやサイバー関連モデルには最も厳しい基準を適用し、条件を満たさない学習や評価は停止したままだ。
あわせて監視も強化する。ツールを使う強化学習や評価では、不正アクセスやデータ窃取、安全対策の回避などを自動検出し、重大な問題が疑われる場合は作業を停止する。
ひとこと：今回の動きは、7月に公開された「Pacing the Frontier」とも重なる。AIの急速な発展によって危険が高まった場合、開発速度を落とせる技術や、国際的なガバナンスの整備を米政府に求めたものだ。OpenAIが実際に学習を止めたことはPacing the Frontierを先取りした行動にも見える。
ただし、本当の鍵は米国企業だけでなく、中国を含む世界の競合も同じ判断を取れるかどうかだ。
安全のために一社が減速しても、別の企業や国家がその間に開発を加速すれば、競争圧力から再び全体が速度を上げかねない。AIの安全性を開発速度より優先できるかは、企業単独の姿勢よりも国際的な協調を築けるかにかかっている。
本記事はアフィリエイトプログラムによる収益を得ている場合があります
