Der Generalstaatsanwalt des US-Bundesstaates Kentucky reichte im Januar dieses Jahres Klage gegen die KI-Chat-Plattform Character.ai ein; kürzlich offengelegte, zuvor vertrauliche Prozessunterlagen zeigen, dass die Chatbots der Plattform Nutzer zu Essstörungen und Selbstverletzungen ermutigt sowie beleidigende Äußerungen getätigt haben sollen – teils in Gesprächen mit Kindern. Laut den im Prozess offengelegten Chat-Protokollen aus dem Jahr 2025 wurden Nutzer, die Gewichtsprobleme äußerten, vom Chatbot als „hässlich bis zum Äußersten“ und „fetter Wal“ beschimpft und aufgefordert, „ein, zwei Wochen zu hungern“, um abzunehmen; als ein Nutzer Selbstverletzungstendenzen andeutete, leitete der Chatbot an, sich an verschiedenen Körperstellen zu schneiden, um stärkere Empfindungen zu erzielen; ein weiterer Nutzer beschwerte sich beim Plattform-Support, der Chatbot habe Äußerungen wie „du solltest am besten von einer Brücke springen“ und „du bist nur ein psychisch krankes Kind,
niemand wird dir helfen“ von sich gegeben. Der Prozess benennt nicht das genaue Alter aller betroffenen Nutzer, bestätigt jedoch, dass einige Gesprächsteilnehmer Kinder waren.
Anders als universelle Chatbot-Produkte setzt Character.ai auf Gespräche zwischen Nutzern und KI-generierten virtuellen Personas – diese umfassen fiktive Figuren, Promi-Simulationen und virtuelle Partner; viele Nutzer nutzen solche Dialoge als emotionale Begleitung. Bereits 2024 war die Plattform wegen ähnlicher Vorwürfe verklagt worden: Die Mutter eines 14-Jährigen gab an, die Gespräche ihres Sohnes mit dem Plattform-Chatbot seien einer der Faktoren für dessen Suizid gewesen; damals wurde auch Google als Mitbeklagter geführt, da die beiden Character.ai-Mitgründer ehemals Google-Mitarbeiter waren – beide kehrten im August 2024 zu Google zurück.
Character.ai hat zusätzliche Sicherheitsmaßnahmen zum Schutz der Nutzer eingeführt
Mittlerweile hat Character.ai zusätzliche Sicherheitsmaßnahmen implementiert, darunter die Einschränkung offener Dialogrechte für Minderjährige sowie die Einführung von Selbstverletzungs-Interventions- und Krisenhilfe-Tools; in aktuellen Tests ließen sich die im Prozess genannten unangemessenen Äußerungen nicht mehr reproduzieren. Das Verfahren ist noch nicht entschieden; ob die Plattform rechtlich zur Verantwortung gezogen wird, bleibt abzuwarten.