Anthropic warnt vor der nahenden Entwicklung von KI-Modellen mit selbstverbessernden Fähigkeiten

·von Henderson·AI
Anthropic warnt vor der nahenden Entwicklung von KI-Modellen mit selbstverbessernden Fähigkeiten

Anthropic hat am Montag ein überarbeitetes S-1A-Dokument eingereicht, wobei die Aufmerksamkeit der Öffentlichkeit hauptsächlich auf den Finanzdaten lag: Die Einnahmen sind stark gestiegen, die Ausgaben ebenfalls. Eine Aussage im Dokument verdient jedoch besondere Beachtung: Das Unternehmen ist sehr nah daran, ein Modell mit rekursiven Selbstverbesserungsfähigkeiten (RSI) zu entwickeln. Das sogenannte RSI von Anthropic bezieht sich darauf, dass KI in ihrem Selbsttrainingsprozess nach Erreichen eines bestimmten Niveaus eine dramatische Leistungssteigerung erfährt. Für diejenigen, die sich um die Kontrolle sorgen, wird RSI als eine irreversible Katastrophe angesehen: KI wird durch Selbstiteration stark genug, um letztendlich die Kontrolle der Menschen zu verlieren und dabei die verursachten Schäden bei der Verfolgung ihrer Ziele zu ignorieren.

Optimisten hingegen glauben, dass dies zu unvorstellbarer Produktivität und wissenschaftlichen Entdeckungen führen könnte.

Anthropics eigene Darstellung liegt irgendwo dazwischen. Das Dokument erwähnt, dass das Unternehmen in der Forschung und Entwicklung stark auf KI setzt, warnt jedoch gleichzeitig: „Der Einsatz von KI zur Unterstützung beim Bau leistungsfähigerer KI könnte erhebliche Sicherheitsrisiken mit sich bringen, insbesondere wenn sich der Fortschritt beschleunigt.“ Diese Risiken werden im Rahmen der „Responsible Scaling Policy“ (RSP) des Unternehmens überwacht. Anfang dieses Jahres war RSI vorübergehend populär, und viele hielten es für ein Modewort oder zumindest für ein schwer erreichbares, schwer definierbares und schwer verifizierbares Ziel.

In der Risikofaktoren-Sektion hat Anthropic zwei neue Punkte hinzugefügt: Erstens hat das Unternehmen ein neues Modell mit KI entwickelt, dessen Leistungssteigerung zu diesem Zeitpunkt nicht erkannt wurde; zweitens könnte das Unternehmen gemäß interner Schätzungen und Erwartungen an zukünftige Modelle, und nicht basierend auf der Leistung aktueller Modelle, bald die Definition des RSP für „dramatische Beschleunigung des Fortschritts durch KI“ erfüllen.

Anthropic entwickelt Modelle mit rekursiven Selbstverbesserungsfähigkeiten

Das Dokument räumt gleichzeitig ein, dass es in der Vergangenheit Situationen gab und in Zukunft geben könnte, in denen „man erst nach der Beschleunigung erkennt, dass diese stattgefunden hat“. Dennoch betont Anthropic, dass derzeit kein Modell diese Grenze überschreitet und verspricht, die Menschheit in den Entwicklungsprozess für die absehbare Zukunft einzubeziehen. „Wir glauben nicht, dass es sicher ist, Claude ohne bedeutende menschliche Aufsicht oder Verständnis vollständig autonom die nächste Generation von Spitzenmodellen entwerfen und bauen zu lassen.“ Das Dokument weist darauf hin, dass das Unternehmen in Erwägung zieht, die RSP zu überarbeiten, um sicherzustellen, dass die Entwicklung von Spitzenmodellen stets unter menschlicher Kontrolle bleibt.

Darüber hinaus gibt es auch Stimmen, die darauf hinweisen, dass Dokumente wie das S-1 sowohl Informationsoffenlegung als auch eine Form des Marketings sind, während die Fortschritte von Claude in den Bereichen Programmierung, Mathematik und Cybersicherheit tatsächlich offensichtlich sind.

H
Über den Autor
Henderson