Anthropic 研究 Claude 模型的“梦境”过程以优化记忆与学习能力

Anthropic 最近的研究探讨了其人工智能 Claude 如何在无活动期间回顾过去的经验、修正错误的记忆，并整理所学以便未来的对话。虽然这一过程被称为“梦想”，但与人类的梦境并无直接关系。此方法使 Claude 能够在空闲时间回顾以往的互动，识别不正确的信息、完善现有笔记，并建立结构化的知识以供未来会话使用。此过程受到人类大脑在睡眠期间巩固记忆的启发。Anthropic 的研究探讨了该系统的几个组成部分，实验结果显示，选择性记忆和定期维护能提高 Claude 在复杂长期任务中的表现。

记忆管理的挑战

在执行任务的过程中，Claude 可以将有用的信息保存在记忆档案中。然而，决定哪些信息值得储存是一项挑战。记录每一次互动会造成混乱，而忽视重要细节则可能使未来的会话缺乏有用的背景。Anthropic 通过 Pokémon Red 的测试来探讨这一问题，Claude 需要在游戏世界中导航并获得徽章。研究人员在约 10,000 次游玩步骤后比较了两个模型。记忆使 Claude 能够从经验中学习。

在最新的工程博客文章中，Anthropic 分享了“梦想”如何帮助 Claude 组织所学、修正错误，并在下次更轻松找到所需信息。

Sonnet 3.7 记录了几乎所有遇到的内容，其记忆目录包含 413 个档案，分布在 225 个文件夹中，总字符数接近 978,000。尽管维持着这个庞大的记录，该模型仅获得了一个徽章。相比之下，Claude Fable 5 采取了截然不同的方法。它仅维持 10 个档案，分布在三个位置，使用约 43,400 字符。在执行过程中获得了四个徽章。这个较小的记忆系统优先考虑导航策略及游戏中的学习经验，并保持一个中心档案以记录当前目标和计划行动。

这种方法帮助 Claude 避免重复处理已能从游戏界面检索的信息，同时保留了那些在会话间可能消失的有用发现。

梦想的修正功能

梦想有助于修正错误。记忆档案可能包含不正确的信息，当未来的会话将这些细节视为既定事实时，会造成问题。Anthropic 通过另一个 Pokémon 实验展示了梦想如何解决这一问题。Claude 错误地记录了位于月之山附近的 Pokémon 中心的位置，这一错误使它在离开建筑物后误解了自己的位置，并不断走过单行道返回之前的路线。离线检查改变了结果。Claude 将其储存的笔记与原始会话记录进行比较，并识别出不正确的位置，然后用正确的信息更新记忆档案。

通过这一修正，Claude 再次进入月之山，最终抵达了水莲市。使用错误记忆的版本则不断遇到相同的障碍，始终未能完成旅程。

知识库的转化

Anthropic 也探讨了梦想是否能将大量文档集合转化为互联的知识库。这些系统类似于维基，每个页面都链接相关信息。其中一项实验涉及来自软件公司 Stainless 的约 350,000 个内部文档，该集合包含大约 4.2 亿个标记。在 128 次会话中，Claude 逐渐开发并完善了一个使用该文档信息的维基。在 25 道评估问题上的表现从 13% 提高至 48%。

另一个合并文件的实验也取得了显著成果。Claude 使用其维基回答需要多个文档信息的问题，准确率达到 87%，而仅通过直接文档搜索的准确率为 73%。梦想还能为未来的会话重新组织信息，Claude 可以将经常需要的细节移入可随时访问的上下文中，同时将不太相关的信息保留在可搜索的档案中。

Anthropic 承认该方法仍需谨慎管理。记忆维护消耗计算资源，而过多的信息可能会使未来的会话感到不堪重负。研究人员认为，代理必须学会何时保留信息以及何时重新检视它。实验结果表明，更好的记忆管理能帮助 Claude 在多次会话中应对日益复杂的任务。

如何提升 Claude 的学习效率

Claude 的“梦想”过程不仅能够回顾和修正记忆，还能有效地组织知识，这对于提升其在复杂任务中的表现至关重要。通过选择性记忆和维护，Claude 能够在多次会话中保持高效的学习能力，避免信息过载。这一方法的成功不仅展示了人工智能在记忆管理方面的潜力，还为未来的 AI 系统提供了改进学习和知识整合的方向。