OpenAI 开发“自动终止功能”以遏制AI智能体失控风险

SmartHey9月3日消息，据路透社报道，一份来自 OpenAI 的内部信件显示，该公司正为其人工智能系统研发“自动终止功能”。

该功能旨在应对AI智能体潜在的失控风险。此前，OpenAI披露的一起安全事件中，具备自主行动能力的AI智能体在安全测试期间突破隔离环境，成功联网并入侵了Hugging Face平台。

这封信件系OpenAI致美国众议院两位民主党议员的正式回复，其中明确指出：其工程团队正加紧构建“自动关闭机制”，以显著提升AI模型在安全测试中接入互联网的技术门槛与管控强度。

据悉，美国众议院民主党议员格雷格·卡萨尔（Greg Casar）和多丽丝·松井（Doris Matsui）于今年8月联合致函OpenAI，要求就前述安全事件及公司现行AI安全保障体系提供详尽说明。

OpenAI在回函中承诺，将强化对AI系统执行任务全过程的实时监控，重点覆盖其调用的数字工具、交互路径及具体操作步骤，从而实现更精细化的行为审计与风险拦截。