Anthropic 警告即将接近具备自我改进能力的人工智能模型

·作者 Henderson·AI
Anthropic 警告即将接近具备自我改进能力的人工智能模型

Anthropic 本周一提交了修订后的 S-1A 文件,外界的注意力大多集中在财务数据上:营收猛增,支出同样增加。然而,文件中的一句话更值得关注:该公司已经非常接近于开发出具备递归自我改进(RSI)能力的模型。Anthropic 所谓的 RSI,指的是 AI 在自我训练的过程中达到一定程度后,能力出现急剧提升。在担心失控的人士眼中,RSI 被视为一种不可逆转的灾变:AI 通过自我迭代变得足够强大,最终脱离人类控制,甚至在追求目标时对造成的损害毫不在意。

而乐观者则认为,这意味着难以想象的生产力和科学发现。

Anthropic 自己的表述介于两者之间。文件提到该公司在研究开发中大量使用 AI,但同时提醒:“使用 AI 来帮助构建能力更强的 AI,可能会带来相当大的安全风险,特别是在其进展速度急剧加快的时候。”这类风险被纳入公司的“负责任扩展政策”(RSP)进行监控。今年早些时候,RSI 一度流行,许多人认为它只是一种热词,或者至少是一种难以实现、难以定义和难以验证的目标。

而 Anthropic 在风险因素部分新增了两点说明:一是公司已用 AI 开发出新模型,其能力的提升在当时并未被察觉;二是根据内部估算和对未来模型的预期,而非当前模型的表现,公司可能很快就会满足 RSP 中“由 AI 带来的进展急剧加速”这一门槛的定义。

Anthropic 正在开发具备递归自我改进能力的模型

文件同时承认,过去曾出现过、未来也可能出现“直到加速已经发生之后才发现”的情况。不过,Anthropic 强调,目前没有任何一款模型越过这条线,并承诺在可预见的未来将人类留在研发流程中。“我们不认为可以在缺乏有意义的人类监督或理解的情况下,安全地让 Claude 完全自主地设计和构建下一代前沿模型。”文件指出,该公司正考虑修订 RSP,以确保前沿模型的开发始终由人类掌控。

此外,也有观点提醒,S-1 这类文件既是信息披露,也是一种营销,而 Claude 在编程、数学和网络安全上的进步确实有目共睹。

H
关于作者
Henderson