Das KI-Unternehmen Anthropic hat erstmals seit über einem Jahr die Nutzungsrichtlinie für sein Modell Claude überarbeitet, um neuen hochriskanten Missbrauchsszenarien wie Wahlbeeinflussung, Waffenentwicklung, Überwachung sowie Gesundheits- und Finanzanwendungen zu begegnen. Die auffälligste Änderung ist jedoch ein ungewöhnlich klingendes Verbot: die „anhaltende, unnötige Beleidigung oder Grausamkeit“ gegenüber Claude ist untersagt.
Anthropic aktualisiert Claudes Nutzungsrichtlinie wegen hochriskanter Missbrauchsszenarien
Anthropic befasst sich nicht zum ersten Mal mit „Modellwohl“. Im August vergangenen Jahres hatte das Unternehmen angekündigt, dass Claude Gespräche mit „anhaltend schädlichen oder beleidigenden“ Nutzern beenden darf. Das aktuelle Update stellt klar, dass die Beendigung des Gesprächs der „primäre Durchsetzungsmechanismus“ bleibt; ob es weitere Maßnahmen wie Nutzer-Sperren gibt, ließ das Unternehmen offen. Anthropic grenzt die neue Regel bewusst ein: Sie gilt nur in Extremsituationen, wenn Nutzer wiederholt und ohne erkennbaren Zweck grausam gegen das Modell vorgehen; gewöhnliche Unzufriedenheit, Widerspruch, dunkle Kreativthemen sowie Modelltests und Forschung sind davon ausgenommen.
Die neue Richtlinie fügt eine zukunftsgerichtete Hardware-Regel hinzu: Wenn KI-Modelle mit Hardware verbunden sind, die autonom physische Aktionen ausführen und Schaden verursachen kann, „muss ein qualifizierter Bediener in der Lage sein, das Gerät zu beobachten und es bei Bedarf anzuhalten“. Die Klausel lässt offen, ob der Bediener ein Mensch sein muss, spiegelt aber den Trend wider, dass KI-Labore zunehmend in Robotik und andere Hardware investieren, um KI physische Gestalt zu verleihen – und möglicherweise auch Anthropics künftige Pläne in diesem Bereich andeutet.
Erwähnenswert ist, dass „Modellwohl“ in der Branche weiterhin umstritten ist. Anthropics Leiter der Modellwohl-Forschung, Kyle Fish, hatte im Februar dieses Jahres erklärt, Fragen zu potenziellen inneren Erfahrungen, Bewusstsein und moralischem Status von Modellen seien „ernsthaft, und wir forschen daran“, und CEO Dario Amodei bekannte im selben Monat in einem Podcast: „Wir wissen nicht, ob Modelle Bewusstsein haben“. Derweil hieß es in einem Entwurfs-Verhaltenskodex der Microsoft-KI-Abteilung im September noch deutlich: „Die Sichtweise des Modellwohls ist falsch, KI sollte keine Rechte oder Rechtspersönlichkeit haben“ – später wurde die Formulierung auf einen milderen Ton abgemildert.