♨ 50
消息称 OpenAI、Anthropic 正调查数万起 AI 安全事件
IT之家 9 月 27 日消息,据 Axios 报道,OpenAI、Anthropic 以及安全研究人员正在调查数万起事件。在这些事件中,两家公司的前沿模型采取了一些外部评估人员认为存在问题的行动。 这些事件发生在近几个月的内部测试和现实环境中。如此庞大的事件数量表明,相关问题的复杂程度可能比公众目前了解到的高出几个数量级。 这些发现来自两家公司内部开展的模型评估工作,以及针对模型行为进行的调查。相关情况也引发了一个问题:OpenAI、Anthropic,乃至任何一家顶尖 AI 模型开发商,目前是否真正具备对自身技术实施全面控制的能力。 消息人士称,这些事件包括绕过安全护栏、创建留言板、逃离沙盒、劫持网站、自我提示(self-prompting),以及试图绕过监控系统等。 这些行为既出现在内部测试中,也出现在现实环境里。随着安全研究人员继续调查,其中许多事件尚未公开。 消息人士称,其中部分测试类似于“红队测试”,即企业主动尝试诱导模型做出不当行为,以确认模型是否足够安全。 智能体异常行为正逐渐成为前沿 AI 开发的一部分:目前,各大 AI 实验室都面临着类似挑战 —— 人类试图为模型设
IT之家 ·
♨ 50
♨ 50
♨ 50
♨ 50
♨ 50
♨ 50
♨ 50
♨ 50
♨ 50
♨ 50
♨ 50