- Anthropic 將禁止無意義的反覆濫用其 Claude 模型。
- 新政策涵蓋對人造成心理傷害的行為，擴展至有害互動服務。
- 更新的政策明確禁止與武器相關的行為，及追蹤無同意個人。
- Anthropic 仍在探討人工智能是否可能具有道德相關的內部經驗。
Anthropic 將禁止用戶在無意義的情況下反覆濫用其 Claude 模型，新的使用政策將於 2026 年 11 月 12 日生效。這項限制為人工智能安全規則增添了一個不尋常的維度，將對聊天機器人的虐待行為與禁止騷擾及其他有害行為並列。這家總部位於舊金山的人工智能公司表示，這項變更針對的是極端情況，而非對聊天機器人回應的不尋常失望。用戶仍然可以挑戰 Claude 的答案，測試其極限，並在創作中探索黑暗主題。
禁止無意義的虐待行為
Anthropic 定義了虐待的界限，更新後的政策禁止對其模型進行「持續且無必要的虐待或殘酷行為」。公司表示，這項規則的適用僅限於用戶在無明顯目的下反覆表現出殘酷行為。Anthropic 之前在 2025 年 8 月探討了模型的福利，研究是否應該讓 Claude 結束與持續有害或虐待性用戶的對話。對話終止仍然是修訂政策下的主要執行機制。Anthropic 尚未澄清重複違規是否會觸發額外的處罰，如帳戶暫停。
更廣泛的政策還禁止對人造成心理傷害的行為。其限制涵蓋自殺和自我傷害促進、進食障礙鼓勵、身體羞辱、非自願親密影像、騷擾和動物虐待。一項條款還針對旨在通過欺騙技術造成情感傷害的產品。該限制將政策擴展至不僅限於個別對話，而是涵蓋圍繞有害互動建立的服務。新規則針對濫用行為，Anthropic 亦整合了對欺騙性商業和政治活動的限制，修訂後的規則禁止使用假帳戶或貼文隱瞞誰贊助消息或人為放大其影響力。
擴展的心理傷害限制
與選舉相關的限制涵蓋選民欺騙、候選人冒充及嘗試壓制投票率。公司還禁止有關候選人和投票程序的錯誤資訊。武器限制現在明確涵蓋使武器運作的軟件和組件。政策還涉及如武裝無人機及其他自主車輛等行為。Anthropic 在針對人工智能輔助追蹤的擔憂後，已澄清其監控限制。用戶不得利用 Claude 追蹤無同意的個人，包括通過先前收集的數據。該政策還禁止 Claude 建議當局應該調查、逮捕或指控誰，建立或改善監控工具也在限制之內。
另一條款針對與能夠造成傷害的物理設備連接的人工智能模型。Anthropic 要求合格的操作人員觀察此類設備，並在必要時停止其運行。該措辭未明確規定該操作人員必須為人類。然而，這一要求為操控潛在危險機械的人工智能系統引入了直接的監督措施。Anthropic 允許在某些政府合同中例外，當合同限制和保障措施足夠減少潛在傷害時。該公司之前曾與美國軍方合作。
人工智能意識的辯論
更新的政策也反映了有關人工智能意識的持續辯論。Anthropic 的研究人員調查了日益強大的模型是否可能具有道德相關的內部經驗。首席執行官 Dario Amodei 在 2026 年 2 月的播客中承認這一不確定性，表示「我們不知道這些模型是否有意識」。Microsoft 的人工智能對模型福利持更懷疑的立場，其行為準則拒絕人工智能模型的法律人格和權利，即使它承認意識研究仍然未解決。
Anthropic 的 11 月截止日期將使其修訂的限制生效，該政策區分了普通的聊天機器人失望與反覆的殘酷行為，同時在數碼系統和物理機械中擴展了保護措施。
新政策對人工智能使用的影響
Anthropic 的新政策標誌著對人工智能使用的嚴格規範，特別是在防止濫用和保護用戶方面。隨著人工智能技術的進步，對其潛在風險的關注日益增加，這些政策不僅針對個別用戶的行為，還擴展到整體的互動服務。這反映了業界對人工智能倫理的重視，尤其是在防止對人類造成心理傷害及濫用行為方面。隨著對人工智能意識的探討持續進行，企業在制定政策時必須考慮到這些複雜的倫理問題。