Anthropic 揭露研究人員濫用 Claude 支援生物武器研究案件

·作者 Henderson·Engineering
Anthropic 揭露研究人員濫用 Claude 支援生物武器研究案件
重點
  • Anthropic 阻止了五宗研究人員利用 Claude 支持生物武器開發的活動。
  • 合法研究與危險工作之間的界限難以確定,生物研究具有雙重用途潛力。
  • Anthropic 發布詳細的威脅情報報告,描述濫用 Claude 的各種方式。
  • 隨著模型能力提升,區分合法與危險研究變得越來越困難。

Anthropic 表示,已經阻止了五宗研究人員利用 Claude 進行可能支持生物武器開發的活動。該公司指出,無法確定研究人員是否有意造成傷害,但由於潛在後果過於嚴重,因此仍然阻止了這些活動。這些案例出現在 2025 年 12 月至 2026 年 8 月之間,Anthropic 在一份新的威脅情報報告中描述了這些模型的濫用情況。該公司表示,這些事件顯示隨著前沿模型在科學研究方面的能力提升,更難以發現的生物風險可能會出現。

合法與危險研究的界限

Anthropic 最大的挑戰在於確定合法研究與危險工作之間的界限。生物研究往往具有雙重用途的潛力。相同的科學知識可以支持醫療治療,也可能促進更危險的病原體。Anthropic 威脅情報負責人 Jacob Klein 告訴《紐約時報》,這種情況很少涉及明顯的惡意意圖宣示。研究人員可以展現看似合法的科學目標,同時從事引發嚴重安全問題的工作。

「我們正在發布迄今為止最詳細的威脅情報報告。報告涵蓋了人們如何嘗試濫用 Claude——進行網絡攻擊、影響操作、監視、生物研究和武器建設——以及我們如何發現和阻止這些行為。」Anthropic 在社交媒體上表示,「我們阻止了報告中每一項操作。」

濫用 Claude 的案例分析

Anthropic 表示,其調查發現了繞過地區限制和逃避安全系統的嘗試。該公司禁止了與此活動相關的帳戶,並將調查結果分享給當局及其他人工智能公司。其中一宗案件涉及與基孔肯雅熱相關的研究,Anthropic 的系統阻止了一個涉及增益功能研究的資助申請請求。該項相關工作旨在軍事研究機構進行,這令該公司的擔憂加劇。研究人員在 Claude 阻止敏感請求後,通過其他渠道繼續其工作。

Anthropic 還發現,一個轉售平台將被拒的生物提示引導至具有較弱安全保障的模型。第二宗案件涉及高致病性禽流感的研究。Anthropic 表示,一名研究人員花了數周使用 Claude 進行研究計劃、數據分析和科學解釋。該公司指出,其安全措施阻止了研究人員訪問其最強模型來進行敏感工作,該活動最終仍停留在較弱的模型版本上。

高風險生物查詢的控制措施

Anthropic 還報告了另外三宗涉及具有武器潛在影響的生物研究的案件。這些案件包括與正痘病毒、毒素和與毒液相關的化合物有關的工作。該公司保留了研究人員的身份、地點和具體生物細節。Anthropic 表示,並不聲稱科學家有意造成傷害。這一區別至關重要,因為舊版 Claude 模型在支持複雜生物研究方面顯示出有限的能力。Anthropic 現在表示,無法對新系統做出相同的假設。

微生物學家及前美國公共衞生官員 Susan Monarez 在報告發布前進行了審查。她告訴《紐約時報》,先進模型可能幫助惡意行為者在合法科學目標背後隱藏危險研究。Anthropic 針對高風險生物查詢加強了控制措施。該公司還表示,希望研究人員能保留對有用科學能力的訪問權限,這造成了一個困難的工程問題。安全措施必須在不妨礙對疾病、疫苗和治療的合法研究的情況下,阻止危險的協助。

Anthropic 最近的案例顯示,隨著前沿模型獲得更深的科學能力,這一區別正變得越來越困難。

前沿模型對生物研究的影響

隨著人工智能模型的進步,研究人員可能在合法科學目標下進行潛在危險的生物研究。Anthropic 的報告揭示了這種現象,顯示出在生物研究領域中,雙重用途的潛在風險日益增加。這不僅挑戰了科技公司的安全措施,也引發了對於如何平衡科學進步與公共安全的深思。隨著技術的快速發展,確保研究不被濫用成為一項重要的挑戰,對於未來的科學研究及其應用有著深遠的影響。

H
關於作者
Henderson