Anthropic更新使用政策禁止虐待AI模型

Anthropic近日更新了其使用政策，旨在应对人机交互中的极端不当行为。根据当地时间10月8日的报道，该公司明确禁止用户对其AI模型实施“持续且无谓的辱骂或残忍行为”，该项新规将于11月12日正式生效。这是Anthropic一年多以来首次修订使用政策。

适用范围与执行措施

Anthropic指出，新规仅适用于极端情形，即用户在没有明显目的的情况下，反复对模型实施残忍行为。以下行为不属于禁止之列：

  • 用户日常表达不满或反驳模型观点；
  • 创作黑暗题材内容；
  • 开展模型测试与研究。

在执行方式上，主要手段为终止对话。对于违规用户，Anthropic可采取发出警告、对访问权限进行限流、限制、暂停乃至终止等措施。此外，用户在被封禁后注册新账号或借用他人账号继续使用也被视为违规。

其他政策调整与要求

除禁止虐待模型外，本次更新还整合并收紧了多项条款：

  • 禁止利用虚假账号和误导性政治内容开展宣传活动；
  • 更明确地禁止未经同意的监控；
  • 在健康、金融等领域提出了更明确的人工监督要求；
  • 要求当Claude操控的自主硬件可能造成人身伤害时，必须有可随时介入的操作人员。

背景与模型福祉探索

此次调整延续了Anthropic在“模型福祉”（model welfare）领域的探索，即在无法确定AI模型是否具有道德地位的前提下，通过低成本措施防范模型可能受到的“伤害”。

2025年8月，Anthropic赋予Claude Opus 4和4.1在消费级聊天界面中结束“持续有害或辱骂性”对话的能力。公司表示，在对Claude Opus 4的测试中观察到，模型在面对部分有害请求时表现出“看似痛苦的模式”，且在被赋予选择时倾向于结束此类对话。不过，Anthropic明确表示并不主张Claude具有感知能力或会被对话伤害，并称对大模型是否具有道德地位“高度不确定”。