Anthropic 研究 Claude 模型的「夢境」過程以優化記憶與學習能力

Anthropic 最近的研究探討了其人工智慧 Claude 如何在無活動期間回顧過去的經驗、修正錯誤的記憶，並整理所學以便未來的對話。雖然這一過程被稱為「夢想」，但與人類的夢境並無直接關係。此方法使 Claude 能夠在空閒時間回顧以往的互動，識別不正確的資訊、完善現有筆記，並建立結構化的知識以供未來會話使用。此過程受到人類大腦在睡眠期間鞏固記憶的啟發。Anthropic 的研究探討了該系統的幾個組成部分，實驗結果顯示，選擇性記憶和定期維護能提高 Claude 在複雜長期任務中的表現。

記憶管理的挑戰

在執行任務的過程中，Claude 可以將有用的資訊保存在記憶檔案中。然而，決定哪些資訊值得儲存是一項挑戰。記錄每一次互動會造成混亂，而忽視重要細節則可能使未來的會話缺乏有用的背景。Anthropic 通過 Pokémon Red 的測試來探討這一問題，Claude 需要在遊戲世界中導航並獲得徽章。研究人員在約 10,000 次遊玩步驟後比較了兩個模型。記憶使 Claude 能夠從經驗中學習。

在最新的工程部落格文章中，Anthropic 分享了「夢想」如何幫助 Claude 組織所學、修正錯誤，並在下次更輕鬆找到所需資訊。

Sonnet 3.7 記錄了幾乎所有遇到的內容，其記憶目錄包含 413 個檔案，分佈在 225 個資料夾中，總字元數接近 978,000。儘管維持著這個龐大的紀錄，該模型僅獲得了一個徽章。相比之下，Claude Fable 5 採取了截然不同的方法。它僅維持 10 個檔案，分佈在三個位置，使用約 43,400 字元。在執行過程中獲得了四個徽章。這個較小的記憶系統優先考慮導航策略及遊戲中的學習經驗，並保持一個中心檔案以記錄當前目標和計劃行動。

這種方法幫助 Claude 避免重複處理已能從遊戲介面檢索的資訊，同時保留了那些在會話間可能消失的有用發現。

夢想的修正功能

夢想有助於修正錯誤。記憶檔案可能包含不正確的資訊，當未來的會話將這些細節視為既定事實時，會造成問題。Anthropic 通過另一個 Pokémon 實驗展示了夢想如何解決這一問題。Claude 錯誤地記錄了位於月之山附近的 Pokémon 中心的位置，這一錯誤使它在離開建築物後誤解了自己的位置，並不斷走過單行道返回之前的路線。離線檢查改變了結果。Claude 將其儲存的筆記與原始會話記錄進行比較，並識別出不正確的位置，然後用正確的資訊更新記憶檔案。

通過這一修正，Claude 再次進入月之山，最終抵達了水蓮市。使用錯誤記憶的版本則不斷遇到相同的障礙，始終未能完成旅程。

知識庫的轉化

Anthropic 也探討了夢想是否能將大量文檔集合轉化為互聯的知識庫。這些系統類似於維基，每個頁面都鏈接相關資訊。其中一項實驗涉及來自軟件公司 Stainless 的約 350,000 個內部文檔，該集合包含大約 4.2 億個標記。在 128 次會話中，Claude 逐漸開發並完善了一個使用該文檔資訊的維基。在 25 道評估問題上的表現從 13% 提高至 48%。

另一個合併文件的實驗也取得了顯著成果。Claude 使用其維基回答需要多個文檔資訊的問題，準確率達到 87%，而僅通過直接文檔搜索的準確率為 73%。夢想還能為未來的會話重新組織資訊，Claude 可以將經常需要的細節移入可隨時訪問的上下文中，同時將不太相關的資訊保留在可搜尋的檔案中。

Anthropic 承認該方法仍需謹慎管理。記憶維護消耗計算資源，而過多的資訊可能會使未來的會話感到不堪重負。研究人員認為，代理必須學會何時保留資訊以及何時重新檢視它。實驗結果表明，更好的記憶管理能幫助 Claude 在多次會話中應對日益複雜的任務。

如何提升 Claude 的學習效率

Claude 的「夢想」過程不僅能夠回顧和修正記憶，還能有效地組織知識，這對於提升其在複雜任務中的表現至關重要。透過選擇性記憶和維護，Claude 能夠在多次會話中保持高效的學習能力，避免信息過載。這一方法的成功不僅展示了人工智慧在記憶管理方面的潛力，還為未來的 AI 系統提供了改進學習和知識整合的方向。