- Claude optimiert Gedächtnis und Lernfähigkeit durch die Rekapitulation von Erfahrungen in inaktiven Phasen.
- Die Herausforderung im Gedächtnismanagement besteht darin, auszuwählen, welche Informationen wert sind, gespeichert zu werden, um Verwirrung zu vermeiden.
- Der Traumprozess kann Fehler korrigieren und die Leistung von Claude bei Aufgaben verbessern.
- Claude kann eine große Anzahl von Dokumenten in ein vernetztes Wissenssystem umwandeln, was die Genauigkeit erheblich steigert.
Anthropic hat in einer aktuellen Studie untersucht, wie seine künstliche Intelligenz Claude in inaktiven Phasen vergangene Erfahrungen rekapituliert, fehlerhafte Erinnerungen korrigiert und das Gelernte für zukünftige Gespräche organisiert. Obwohl dieser Prozess als „Traum“ bezeichnet wird, besteht keine direkte Verbindung zu menschlichen Träumen. Diese Methode ermöglicht es Claude, in seiner Freizeit frühere Interaktionen zu überprüfen, falsche Informationen zu identifizieren, bestehende Notizen zu verbessern und strukturiertes Wissen für zukünftige Gespräche aufzubauen. Dieser Prozess ist von der Art und Weise inspiriert, wie das menschliche Gehirn während des Schlafs Erinnerungen festigt. Die Forschung von Anthropic untersucht mehrere Komponenten des Systems, und die Ergebnisse zeigen, dass selektives Gedächtnis und regelmäßige Wartung die Leistung von Claude bei komplexen Langzeitaufgaben verbessern können.
Herausforderungen im Gedächtnismanagement
Während der Ausführung von Aufgaben kann Claude nützliche Informationen in Gedächtnisdateien speichern. Die Entscheidung, welche Informationen gespeichert werden sollen, ist jedoch eine Herausforderung. Das Protokollieren jeder Interaktion kann zu Verwirrung führen, während das Ignorieren wichtiger Details zukünftige Gespräche möglicherweise ohne nützlichen Kontext zurücklässt. Anthropic hat dieses Problem durch Tests mit Pokémon Red untersucht, bei denen Claude sich in der Spielwelt bewegen und Abzeichen sammeln muss. Die Forscher verglichen nach etwa 10.000 Spielschritten zwei Modelle. Das Gedächtnis ermöglichte es Claude, aus Erfahrungen zu lernen.
In einem aktuellen Blogbeitrag der Ingenieure hat Anthropic erläutert, wie der „Traum“ Claude dabei hilft, das Gelernte zu organisieren, Fehler zu korrigieren und beim nächsten Mal leichter die benötigten Informationen zu finden.
Sonnet 3.7 hat fast alle Inhalte, auf die es gestoßen ist, protokolliert, und sein Gedächtnisverzeichnis umfasst 413 Dateien, verteilt auf 225 Ordner, mit einer Gesamtzeichenzahl von fast 978.000. Trotz der Führung dieses umfangreichen Protokolls hat das Modell nur ein Abzeichen erhalten. Im Gegensatz dazu verfolgte Claude Fable 5 einen völlig anderen Ansatz. Es hielt nur 10 Dateien in drei Positionen mit etwa 43.400 Zeichen. Während des Prozesses erhielt es vier Abzeichen. Dieses kleinere Gedächtnissystem priorisierte Navigationsstrategien und Lernerfahrungen im Spiel und hielt eine zentrale Datei zur Dokumentation der aktuellen Ziele und geplanten Aktionen bereit.
Diese Methode hilft Claude, die Wiederholung der Verarbeitung von Informationen zu vermeiden, die bereits über die Benutzeroberfläche des Spiels abgerufen werden können, während nützliche Entdeckungen, die möglicherweise zwischen den Gesprächen verloren gehen, erhalten bleiben.
Korrekturfunktion des Traums
Der Traum hilft, Fehler zu korrigieren. Gedächtnisdateien können falsche Informationen enthalten, und wenn zukünftige Gespräche diese Details als gegebene Tatsachen betrachten, kann dies zu Problemen führen. Anthropic demonstrierte in einem weiteren Pokémon-Experiment, wie der Traum dieses Problem löst. Claude hatte fälschlicherweise den Standort des Pokémon Centers in der Nähe des Mount Moon aufgezeichnet, was dazu führte, dass es nach dem Verlassen des Gebäudes seine Position missverstand und ständig die Einbahnstraße zurückging. Eine Offline-Überprüfung änderte das Ergebnis. Claude verglich seine gespeicherten Notizen mit dem ursprünglichen Gesprächsprotokoll, identifizierte den falschen Standort und aktualisierte die Gedächtnisdatei mit den korrekten Informationen.
Durch diese Korrektur betrat Claude erneut den Mount Moon und erreichte schließlich Cerulean City. Die Version, die auf fehlerhaften Erinnerungen basierte, stieß weiterhin auf die gleichen Hindernisse und konnte die Reise nie abschließen.
Transformation in ein Wissenssystem
Anthropic hat auch untersucht, ob der Traum eine große Sammlung von Dokumenten in ein vernetztes Wissenssystem umwandeln kann. Diese Systeme sind ähnlich wie Wikis, bei denen jede Seite mit relevanten Informationen verlinkt ist. Ein Experiment umfasste etwa 350.000 interne Dokumente von der Softwarefirma Stainless, die ungefähr 420 Millionen Markierungen enthielten. In 128 Gesprächen entwickelte und verbesserte Claude schrittweise ein Wiki, das die Informationen aus diesen Dokumenten nutzte. Die Leistung bei 25 Bewertungsfragen stieg von 13 % auf 48 %.
Ein weiteres Experiment zur Zusammenführung von Dokumenten erzielte ebenfalls signifikante Ergebnisse. Claude nutzte sein Wiki, um Fragen zu beantworten, die Informationen aus mehreren Dokumenten erforderten, mit einer Genauigkeit von 87 %, während die Genauigkeit bei direkter Dokumentensuche nur 73 % betrug. Der Traum kann auch Informationen für zukünftige Gespräche reorganisieren, sodass Claude häufig benötigte Details in einen jederzeit zugänglichen Kontext verschieben kann, während weniger relevante Informationen in durchsuchbaren Dateien verbleiben.
Anthropic räumt ein, dass diese Methode weiterhin sorgfältig verwaltet werden muss. Die Wartung des Gedächtnisses verbraucht Rechenressourcen, und zu viele Informationen können zukünftige Gespräche überfordern. Die Forscher sind der Meinung, dass der Agent lernen muss, wann Informationen beibehalten und wann sie überprüft werden sollten. Die Ergebnisse der Experimente zeigen, dass ein besseres Gedächtnismanagement Claude dabei helfen kann, komplexere Aufgaben über mehrere Gespräche hinweg zu bewältigen.
Wie man Claudes Lernfähigkeit steigert
Claudes „Traum“-Prozess kann nicht nur Erinnerungen rekapitulieren und korrigieren, sondern auch Wissen effektiv organisieren, was entscheidend für die Verbesserung seiner Leistung bei komplexen Aufgaben ist. Durch selektives Gedächtnis und Wartung kann Claude in mehreren Gesprächen eine effiziente Lernfähigkeit aufrechterhalten und Informationsüberlastung vermeiden. Der Erfolg dieser Methode zeigt nicht nur das Potenzial der künstlichen Intelligenz im Gedächtnismanagement, sondern bietet auch Perspektiven für zukünftige KI-Systeme zur Verbesserung des Lernens und der Wissensintegration.

