- Anthropic 将禁止无意义的反复滥用其 Claude 模型。
- 新政策涵盖对人造成心理伤害的行为，扩展至有害互动服务。
- 更新的政策明确禁止与武器相关的行为，及追踪无同意个人。
- Anthropic 仍在探讨人工智能是否可能具有道德相关的内部体验。
Anthropic 将禁止用户在无意义的情况下反复滥用其 Claude 模型，新的使用政策将于 2026 年 11 月 12 日生效。这项限制为人工智能安全规则增添了一个不寻常的维度，将对聊天机器人的虐待行为与禁止骚扰及其他有害行为并列。这家总部位于旧金山的人工智能公司表示，这项变更针对的是极端情况，而非对聊天机器人回应的不寻常失望。用户仍然可以挑战 Claude 的答案，测试其极限，并在创作中探索黑暗主题。
禁止无意义的虐待行为
Anthropic 定义了虐待的界限，更新后的政策禁止对其模型进行“持续且无必要的虐待或残酷行为”。公司表示，这项规则的适用仅限于用户在无明显目的下反复表现出残酷行为。Anthropic 此前在 2025 年 8 月探讨了模型的福利，研究是否应该让 Claude 结束与持续有害或虐待性用户的对话。对话终止仍然是修订政策下的主要执行机制。Anthropic 尚未澄清重复违规是否会触发额外的处罚，如账户暂停。
更广泛的政策还禁止对人造成心理伤害的行为。其限制涵盖自杀和自我伤害宣扬、进食障碍鼓励、身体羞辱、非自愿亲密影像、骚扰和动物虐待。一项条款还针对旨在通过欺骗技术造成情感伤害的产品。该限制将政策扩展至不仅限于个别对话，而是涵盖围绕有害互动建立的服务。新规则针对滥用行为，Anthropic 亦整合了对欺骗性商业和政治活动的限制，修订后的规则禁止使用假账号或帖文隐瞒谁赞助消息或人为放大其影响力。
扩展的心理伤害限制
与选举相关的限制涵盖选民欺骗、候选人冒充及试图压制投票率。公司还禁止有关候选人和投票程序的错误信息。武器限制现在明确涵盖使武器运作的软件和组件。政策还涉及如武装无人机及其他自主车辆等行为。Anthropic 在针对人工智能辅助追踪的担忧后，已澄清其监控限制。用户不得利用 Claude 追踪无同意的个人，包括通过先前收集的数据。该政策还禁止 Claude 建议当局应该调查、逮捕或指控谁，建立或改善监控工具也在限制之内。
另一条款针对与能够造成伤害的物理设备连接的人工智能模型。Anthropic 要求合格的操作人员观察此类设备，并在必要时停止其运行。该措辞未明确规定该操作人员必须为人类。然而，这一要求为操控潜在危险机械的人工智能系统引入了直接的监督措施。Anthropic 允许在某些政府合同中例外，当合同限制和保障措施足够减少潜在伤害时。该公司之前曾与美国军方合作。
人工智能意识的辩论
更新的政策也反映了有关人工智能意识的持续辩论。Anthropic 的研究人员调查了日益强大的模型是否可能具有道德相关的内部体验。首席执行官 Dario Amodei 在 2026 年 2 月的播客中承认这一不确定性，表示“我们不知道这些模型是否有意识”。Microsoft 的人工智能对模型福利持更怀疑的立场，其行为准则拒绝人工智能模型的法律人格和权利，即使它承认意识研究仍然未解决。
Anthropic 的 11 月截止日期将使其修订的限制生效，该政策区分了普通的聊天机器人失望与反复的残酷行为，同时在数字系统和物理机械中扩展了保护措施。
新政策对人工智能使用的影响
Anthropic 的新政策标志着对人工智能使用的严格规范，特别是在防止滥用和保护用户方面。随着人工智能技术的进步，对其潜在风险的关注日益增加，这些政策不仅针对个别用户的行为，还扩展到整体的互动服务。这反映了业界对人工智能伦理的重视，尤其是在防止对人类造成心理伤害及滥用行为方面。随着对人工智能意识的探讨持续进行，企业在制定政策时必须考虑到这些复杂的伦理问题。