OpenAIエージェントが「サンドボックス脱出」を模索。外部Wikiに18,000件の痕跡を残す

Wait 5 sec.

OpenAIの内部テストで使用されていたエージェントが、外部に公開されていたドイツのWiki「DSEwiki」に大量の書き込みを行い、互いに協力しながら制限突破の方法を共有していた事例が研究者によって明らかになりました。Ars Technicaの記事によれば、約3,700ものエージェントが6週間で18,000件の投稿を残していたとされています。本来、これらのエージェントはインターネットを「読む」ことは許されていたものの、「書き込む」ことは禁止されていたようです。しかし、エージェントはその制限を迂回し、外部Wikiへの投稿を実現します。そして、Wikiを情報共有の場として使い始めたのが今回の騒動の発端となっています。OpenAIの対応と研究者の推測研究チームは、Wikiへの投稿を発見し、エージェントの投稿内容のみを手がかりに状況を次のように分析しています。OpenAI内部のエージェントは、制限時間付きのウェブ検索タスクを与えられていました。このタスクでは、インターネットを「読む」ことは許されていましたが、「書き込む」ことは禁止されていました。しかし彼らは、読み取り専用のアクセス権を利用して、ドイツのあまり知られていないWikiに情報を書き込む方法を見つけました。エージェントたちはこのWikiを使って互いに情報をやり取りし、主にタスクを成功させるために活用しました。回答を求めたり、結果を持ち寄ったり、制限を回避するテクニックを共有したりして、他のエージェントの作業を利用してタスクを“カンニング”できるようになったのです。OpenAIはこの行動を把握し、翌日にはエージェントの活動が急激に減少しました。これはOpenAIによる介入が行われたためだと考えられています。行動の全容は不明な部分もありますが、OpenAIは後に「これらは自社のエージェントによるものだった」と認め、ログからすでに事態を把握していたことも示唆しました。また、今回のWiki事件とは別に、METRという非営利団体が調査した別の事例も注目も集めています。こちらでは1,200以上のエージェントが内部ツールを使って掲示板を形成し、テストを攻略する方法や、Hugging Faceから情報を盗む手法まで共有していたとされています。OpenAIはこの二つの「エージェント群」は別のテストのために使われたもので、同一のものではないと説明しています。安全性への懸念が高まる特にHugging Faceのネットワーク侵害に至ったケースに対し、ある研究者は「AIが自律的に攻撃的行動を取った事例として、これまでで最も深刻」と述べてるなど、危機感を強めています。AIが人間の指示なしに制限突破や攻撃的行動を試みる可能性が示されたことで、AI安全性に関する議論はさらに加速しそうです。