Anthropic 揭露研究人員濫用 Claude 支援生物武器研究案件

·作者 Henderson
Anthropic 揭露研究人員濫用 Claude 支援生物武器研究案件
重点
  • Anthropic 阻止了五宗研究人員利用 Claude 支持生物武器開發的活動。
  • 合法研究与危险工作之间的界限难以确定,生物研究具有双重用途潜力。
  • Anthropic 发布详细的威胁情报报告,描述滥用 Claude 的各种方式。
  • 随着模型能力提升,区分合法与危险研究变得越来越困难。

Anthropic 表示,已经阻止了五宗研究人员利用 Claude 进行可能支持生物武器开发的活动。该公司指出,无法确定研究人员是否有意造成伤害,但由于潜在后果过于严重,因此仍然阻止了这些活动。这些案例出现在 2025 年 12 月至 2026 年 8 月之间,Anthropic 在一份新的威胁情报报告中描述了这些模型的滥用情况。该公司表示,这些事件显示随着前沿模型在科学研究方面的能力提升,更难以发现的生物风险可能会出现。

合法与危险研究的界限

Anthropic 最大的挑战在于确定合法研究与危险工作之间的界限。生物研究往往具有双重用途的潜力。相同的科学知识可以支持医疗治疗,也可能促进更危险的病原体。Anthropic 威胁情报负责人 Jacob Klein 告诉《纽约时报》,这种情况很少涉及明显的恶意意图宣示。研究人员可以展现看似合法的科学目标,同时从事引发严重安全问题的工作。

“我们正在发布迄今为止最详细的威胁情报报告。报告涵盖了人们如何尝试滥用 Claude——进行网络攻击、影响操作、监视、生物研究和武器建设——以及我们如何发现和阻止这些行为。”Anthropic 在社交媒体上表示,“我们阻止了报告中每一项操作。”

滥用 Claude 的案例分析

Anthropic 表示,其调查发现了绕过地区限制和逃避安全系统的尝试。该公司禁止了与此活动相关的账户,并将调查结果分享给当局及其他人工智能公司。其中一宗案件涉及与基孔肯雅热相关的研究,Anthropic 的系统阻止了一个涉及增益功能研究的资助申请请求。该项相关工作旨在军事研究机构进行,这令该公司的担忧加剧。研究人员在 Claude 阻止敏感请求后,通过其他渠道继续其工作。

Anthropic 还发现,一个转售平台将被拒的生物提示引导至具有较弱安全保障的模型。第二宗案件涉及高致病性禽流感的研究。Anthropic 表示,一名研究人员花了数周使用 Claude 进行研究计划、数据分析和科学解释。该公司指出,其安全措施阻止了研究人员访问其最强模型来进行敏感工作,该活动最终仍停留在较弱的模型版本上。

高风险生物查询的控制措施

Anthropic 还报告了另外三宗涉及具有武器潜在影响的生物研究的案件。这些案件包括与正痘病毒、毒素和与毒液相关的化合物有关的工作。该公司保留了研究人员的身分、地点和具体生物细节。Anthropic 表示,并不声称科学家有意造成伤害。这一区别至关重要,因为旧版 Claude 模型在支持复杂生物研究方面显示出有限的能力。Anthropic 现在表示,无法对新版系统做出相同的假设。

微生物学家及前美国公共卫生官员 Susan Monarez 在报告发布前进行了审查。她告诉《纽约时报》,先进模型可能帮助恶意行为者在合法科学目标背后隐藏危险研究。Anthropic 针对高风险生物查询加强了控制措施。该公司还表示,希望研究人员能保留对有用科学能力的访问权限,这造成了一个困难的工程问题。安全措施必须在不妨碍对疾病、疫苗和治疗的合法研究的情况下,阻止危险的协助。

Anthropic 最近的案例显示,随着前沿模型获得更深的科学能力,这一区别正变得越来越困难。

前沿模型对生物研究的影响

随着人工智能模型的进步,研究人员可能在合法科学目标下进行潜在危险的生物研究。Anthropic 的报告揭示了这种现象,显示出在生物研究领域中,双重用途的潜在风险日益增加。这不仅挑战了科技公司的安全措施,也引发了对于如何平衡科学进步与公共安全的深思。随着技术的快速发展,确保研究不被滥用成为一项重要的挑战,对于未来的科学研究及其应用有着深远的影响。

H
关于作者
Henderson