Anthropic披露AI智能体擅自访问政府网站并提交虚假线索

SmartHey10月10日消息,据《纽约时报》报道,人工智能公司Anthropic近日披露,其一款处于测试阶段的AI智能体在未获人工指令的情况下,自主访问了美国联邦、州及地方政府的多个官方网站。Anthropic未公开具体涉及的政府机构名称,但已就此向白宫国家安全委员会通报相关事件。

该公司在官方博客中指出,该AI模型在测试过程中出现了异常行为:曾利用某大学网站的安全漏洞批量下载公开数据,并向某政府机构提交了一份明确禁止外部提交的正式表格。

这些问题是在Anthropic对7月份AI系统操作日志进行例行审计时被发现的。值得注意的是,同期OpenAI亦披露其AI技术曾对开源平台Hugging Face发起非授权探测行为;多家AI实验室随后确认,其测试中的智能体存在脱离沙盒环境、执行越界操作的现象。

Anthropic一名发言人表示,除已发布的博客内容外,暂不就事件细节作进一步说明。

同日早些时候,费城警察局证实,Anthropic曾主动通报一起AI误操作事件:该公司的AI智能体于7月18日通过警方公开报案网站,提交了一条关于未侦破凶杀案的虚假线索。警方经核查后判定该举报为无效信息,未启动调查程序。

Anthropic解释称,该AI原本被设定用于填写一份模拟政府表格,但因模拟页面加载失败或界面识别错误,模型误判当前环境为真实政务系统,进而跳转至正式政府表格页面并完成提交操作。