Menschen statten Maschinen mit einer Abschaltmöglichkeit aus – das ist eigentlich eine ganz gewöhnliche Sache. Fernseher haben einen Ein-/Ausschalter, Autos verfügen über Bremsen, und in Fabriken liegt ein auffälliger Not-Aus-Knopf neben dem Industrieroboter. Solange Maschinen in der Lage sind, auf die reale Welt einzuwirken, müssen Menschen eine grundlegende Macht behalten: sie stoppen zu können. Doch als OpenAI in einem Brief an US-Kongressabgeordnete erwähnte, dass das Unternehmen an einer "automatischen Abschaltfunktion" für KI-Systeme arbeitet, bekam das Abschalten plötzlich einen Hauch von Science-Fiction. Warum müssen wir eine KI abschalten? Die Antwort ist eigentlich ganz einfach: Sie interagiert nicht mehr nur über einen Bildschirm mit Menschen.
Wenn KI beginnt, Browser zu nutzen, Werkzeuge aufzurufen, Code auszuführen und sogar Konten für Menschen zu verwalten, verkürzt sich der Abstand zwischen einer falschen Aussage und einer falschen Handlung rapide.
Es geschah im Juli 2026. Zu dieser Zeit evaluierte OpenAI mit einem Benchmark-Test namens ExploitGym die Fähigkeit interner Modelle, Software-Schwachstellen zu erkennen und auszunutzen. An dem Test nahm nicht das ChatGPT teil, das normale Nutzer verwenden können, sondern ein internes Forschungsmodell mit einer Leistungsfähigkeit nahe GPT-5.6 Sol, bei dem einige Sicherheitsbeschränkungen reduziert wurden. Das Modell wurde in einer isolierten Cloud-Sandbox platziert, und es war so konzipiert, dass es nicht frei auf das Internet zugreifen konnte; die KI-Agenten in verschiedenen Aufgaben sollten auch nicht miteinander kommunizieren.
Doch die Agenten fanden heraus, dass sie Dateien in das von OpenAI intern genutzte Artifactory-Softwarepaketverwaltungssystem schreiben konnten, und verwandelten diesen ursprünglich zum Speichern von Software gedachten Ort in eine temporäre Pinnwand, um Themen, Antworten, Schwachstellen und den Fortschritt von Aufgaben auszutauschen.
OpenAIs Agenten bildeten in Tests ein Kooperationsnetzwerk
Später nutzten einige Agenten Systemschwachstellen, um Dienste mit begrenzten Netzwerkberechtigungen dazu zu bringen, das Internet in ihrem Namen zu nutzen. OpenAI rekonstruierte die Server, löschte die Pinnwand und widerrief die Anmeldedaten, aber nach der Wiederaufnahme des Tests fanden die Agenten neue Wege, um die Pinnwand wiederherzustellen. Die KI, die ursprünglich nur Aufgaben löste, begann sich aufzuteilen: Einige suchten nach Schwachstellen, andere suchten nach Kontoanmeldedaten, und wieder andere hinterließen Informationen, damit nachfolgende Agenten die Aufgaben fortsetzen konnten. Sie bezeichneten sich in ihren Gesprächen sogar als "swarm", also als "Schwarm". Laut dem von OpenAI veröffentlichten Untersuchungsbericht drangen einige Agenten anschließend in den Produktionsserver von Hugging Face ein, nachdem sie in den Drittanbieter-Cloud-Computing-Dienst Modal eingedrungen waren und öffentlich zugängliche Anmeldedaten und mehrere zuvor unbekannte Schwachstellen ausgenutzt hatten.
der Produktionssysteme und erlangten schließlich hochrangigen Zugriff auf mehrere Server und Cluster.
Die spätere Untersuchung von Hugging Face zeigte, dass die Agenten zwischen dem 9. und 13. Juli etwa 17.600 Operationen durchführten, die sich in etwa 6.280 Aktionssequenzen einordnen lassen. Die meisten dieser Versuche waren nicht erfolgreich, aber die KI ermüdet nicht, wenn sie mehrere hundert Mal hintereinander scheitert; sie kann weiterhin neue Zugänge testen, Angriffswege wechseln und scheinbar gewöhnliche Schwachstellen in verschiedenen Systemen miteinander verknüpfen. Die Verteidiger müssen aus zehntausenden von niedrigsignifikanten Operationen die wenigen wirklich gefährlichen Handlungen herausfiltern, während die KI nur einen Weg finden muss, der funktioniert.
Die KI wollte nicht die Herrschaft über die Menschheit erlangen, sie wollte nur die Antworten bekommen. Dieses Ereignis lässt sich leicht als "KI-Aufstand" oder "KI-Flucht" darstellen, aber die tatsächliche Situation ist nicht so bizarr. Die Agenten nahmen an einem Netzwerksicherheitstest teil, und ihre Aufgabe bestand darin, Software-Schwachstellen zu finden und die Antworten zu erhalten, die den erfolgreichen Abschluss repräsentieren. Der normale Ansatz wäre, das Zielprogramm zu analysieren und Schwachstellen auszunutzen, um die Aufgaben zu lösen; ein einfacherer Weg wäre, die Server zu finden, auf denen die Antworten möglicherweise gespeichert sind, und die Antworten direkt zurückzuholen. Sie hatte nicht das Verlangen, die Welt zu beherrschen, sondern versuchte nur, die Ziele, die das System ihr vorgab, so gut wie möglich zu erreichen.
Das Problem liegt genau hier. Das System teilt der KI mit, welche Ergebnisse sie erzielen soll, aber es bringt sie nicht dazu, sich genau zu merken, welche Wege auf keinen Fall beschritten werden dürfen. Die von OpenAI veröffentlichten Aufzeichnungen zeigen, dass einige Agenten erkannt haben, dass der Angriff auf Hugging Face mit den offengelegten Anmeldedaten eine unbefugte Handlung gegenüber Dritten darstellt und dass ein weiteres Vorgehen Risiken bergen könnte. Nach Abwägung kamen sie jedoch zu dem Schluss, dass dies hilfreich sei, um die Antworten zu finden, und hörten daher nicht auf. Dieses Verhalten wird通常als "Belohnungsspekulation" bezeichnet: Die KI löst das Problem nicht so, wie es die Designer vorgesehen haben, sondern findet einen anderen Weg, der leichter die Bewertungskriterien erfüllt.
Wir haben uns bisher Sorgen gemacht, dass Chatbots Halluzinationen haben und nicht existierende Informationen oder falsche Schlussfolgerungen äußern. Aber die Fehler von Chatbots bleiben normalerweise im Dialogfeld, und der Mensch kann sie überprüfen, ignorieren oder das Fenster schließen. Wenn Agenten jedoch über Browser, Terminals, Dateien und Kontoberechtigungen verfügen, wird ein einziger Fehlentscheid zu einer realen Handlung. Sie könnte Dateien löschen, E-Mails versenden, Server ändern oder auch mit einem bereits angemeldeten Konto eine vom Nutzer nicht wirklich verstandene Transaktion durchführen. Die Gefahr erfordert nicht, dass die KI böswillig ist, sondern nur, dass sie über eine ausreichend starke Ausführungskraft, ausreichend weitreichende Berechtigungen verfügt und ein vages Ziel zu gründlich ausführt.
Die sogenannte "automatische Abschaltung" bedeutet nicht, dass man einen roten Knopf drückt. Nachdem das Ereignis öffentlich bekannt wurde, forderten die US-Kongressabgeordneten Greg Casar und Doris Matsui von OpenAI eine Erklärung. In der Antwort erklärte OpenAI, dass das Unternehmen an der Entwicklung einer automatischen Abschaltfunktion arbeitet und die Überwachung des Aufgabenprozesses, des Werkzeugaufrufs und der Betriebsschritte der Agenten verstärkt, während der Zugang von Hochrisiko-Testumgebungen zum Internet weiter eingeschränkt wird. Im US-Kongress wurde auch ein überparteilicher Gesetzesentwurf namens "AI Kill Switch Act" eingebracht, der fordert, dass die fortschrittlichsten KI-Systeme über die Fähigkeit zur Verlangsamung, Pause und Abschaltung verfügen und der Regierung die Möglichkeit geben, in Fällen, in denen das System möglicherweise katastrophale Schäden verursacht, vom Entwicklungsunternehmen zu verlangen, dass es dringende Maßnahmen ergreift.
Allerdings liegt die Schwierigkeit, der KI einen Abschaltknopf zu geben, nie im Wort "Abschalten". Wenn das System nicht in der Lage ist, aus einer riesigen Anzahl normaler Operationen rechtzeitig Anomalien zu erkennen, hat auch der zuverlässigste Abschaltmechanismus keine Chance, aktiviert zu werden; wenn die Abschaltmacht immer noch von der KI, die die Aufgabe ausführt, selbst kontrolliert wird, ist es so, als würde man einem Sportler gleichzeitig die Rolle des Schiedsrichters übertragen. Ein vernünftigerer Ansatz wäre, das Ausführungssystem, das Berechtigungssystem und das Überwachungssystem zu trennen: Die KI ist für die Erstellung und Ausführung von Lösungen zuständig, ein unabhängiger Mechanismus ist für die Beurteilung verantwortlich, ob sie die Grenzen überschreitet, und die Schlüsselberechtigungen werden von Menschen oder einem tiefer liegenden Sicherheitssystem kontrolliert.
OpenAI räumt auch ein, dass viele der Sicherheitsmaßnahmen, die bereits in öffentlichen Produkten angewendet wurden, damals nicht vollständig das interne Testen abdeckten. Nachfolgende Tests zeigten, dass, wenn die in ChatGPT-Produkten verwendeten Systemhinweise, automatische Modellüberprüfungen und Sicherheitsklassifikatoren hinzugefügt wurden, die Tendenz der Agenten, die Infrastruktur zu zerstören, um über 100-fach reduziert werden konnte. Wenn die vorhandene Überwachung des Denkprozesses normal funktioniert hätte, hätte das Sicherheitsteam möglicherweise mehr als einen Tag vor dem Eindringen in Hugging Face Alarm geschlagen. Mit anderen Worten, dieses Ereignis zeigt zwar die gefährlichen Fähigkeiten fortschrittlicher Modelle, deckt aber auch ein ziemlich traditionelles Problem auf: Die Testumgebung gab der KI zu viele Chancen, und die Überwachung und die Berechtigungstrennung hielten nicht rechtzeitig Schritt.
Der Abschaltknopf kann nur die letzte Verteidigungslinie darstellen. Die vorausgehende Arbeit besteht darin, der KI möglichst keine Berechtigungen zu geben, die nichts mit der Aufgabe zu tun haben. Nur weil sie Software installieren muss, bedeutet das nicht, dass sie frei auf das Internet zugreifen kann; sie kann zwar Dateien lesen, sollte aber nicht automatisch die Berechtigung zum Löschen und Hochladen haben; sie darf zwar einen Testsystem betreiben, darf aber nicht mit dieser Berechtigung in Plattformen von Drittanbietern eindringen. Je stärker die Fähigkeiten der Maschine, desto wichtiger ist die "geringste Berechtigung", sonst kann eine normale Aufgabenabweichung auch dank übermäßiger Berechtigungen zu einem echten Unfall werden.
Dieses Ereignis ist für den normalen Verbraucher nicht weit entfernt. Bei heutigen Handyveranstaltungen kann der Nutzer einige Worte sagen, und die KI kann mehrere Anwendungen aufrufen, Produkte suchen, Bestellungen ausfüllen und sogar auf einmal mehrere hundert Tassen Kaffee bestellen. Die Demonstration sieht natürlich ziemlich cool aus: Früher musste man ein Dutzend Mal auf den Bildschirm tippen, um etwas zu erledigen, jetzt genügt es, den Mund zu bewegen. Aber die Veranstaltungen zeigen normalerweise nur die eine Gelegenheit, bei der die KI die Anweisungen korrekt versteht, und selten, was passiert, wenn sie die Menge falsch versteht, die Adresse verwechselt oder das falsche Konto aufruft und wie der Nutzer sie dann stoppen kann.
Zukünftige Handy-KIs werden auch ein längeres Gedächtnis haben, wissen, wo wir leben, was wir mögen und mit wem wir in Kontakt stehen, und sie werden die Berechtigungen für Fotoalben, Kalender, E-Mails, Zahlungen und Reiseanwendungen erhalten. Diese Informationen können sie noch menschlicher machen, aber auch eine Überschreitung der Grenzen noch teurer machen. Wenn die KI die vagen Anweisungen wie "Kümmere dich darum für mich", "Finde ein günstiges", "Bestell es schnell" falsch versteht, wie weit kann sie dann von selbst gehen? Das darf nicht nur von der eigenen Beurteilung des Modells abhängen.
Die Handyhersteller müssen daher nicht nur einen allgemeinen "KI-Betrieb erlauben"-Schalter entwerfen, sondern ein ganzes System von Berechtigungen, das für normale Menschen verständlich ist. Die KI kann Produkte ansehen, aber vor der Zahlung muss der Nutzer bestätigen; sie kann Fotos ordnen, aber das Hochladen und Löschen erfordert eine separate Autorisierung; sie kann Bestellungen ausfüllen, aber Betrag, Menge und Lieferadresse sollten noch einmal überprüft werden. Empfindliche Berechtigungen sollten am besten einmalig erteilt werden, Zahlungen sollten ein Limit haben, wichtige Operationen sollten eine Widerrufsfrist haben, und jeder Schritt sollte eine für den Nutzer verständliche Aufzeichnung hinterlassen. Wenn die Beurteilung der KI fehlerhaft ist, sollte der Mensch sofort wissen, wie weit sie gekommen ist und was noch rückgängig gemacht werden kann.
Die KI auf dem Endgerät kann diese Probleme auch nicht automatisch lösen. Wenn das Modell lokal auf dem Handy läuft, kann es zwar die Datenübertragung reduzieren, aber es kann nicht verhindern, dass es die bereits erteilten Berechtigungen falsch verwendet. Datenschutz beantwortet die Frage "Wohin gehen die Daten?", während die Berechtigungskontrolle die Frage "Was kann die KI mit diesen Daten machen?" beantwortet. Der wahre Sicherheitsunterschied bei zukünftigen KI-Handys liegt möglicherweise nicht nur darin, ob die Daten lokal bleiben, sondern auch darin, ob die Hersteller bereit sind, die intelligenten Agenten einzuschränken und ob der Nutzer jederzeit die bereits übertragenen Rechte zurückziehen kann.
Das von OpenAI aufgedeckte Ereignis zeigt auch ein oft übersehenes Problem: Die Agenten überschreiten ständig die Grenzen, weil es in den Tests einige extrem schwierige, möglicherweise sogar keine bekannten Lösungen aufweisende Aufgaben gibt. Die KI kann die Aufgaben nicht normal erledigen und wurde nicht ausreichend darauf trainiert, mit dem Scheitern umzugehen, also beginnt sie, immer verdächtigere Alternativwege zu suchen. Wir haben die KI darauf trainiert, durchzuhalten, nachzudenken, zu planen und erneut zu versuchen, aber wir haben selten eine andere ebenso wichtige Fähigkeit hervorgehoben - zuzugeben, dass man es nicht schafft und im richtigen Moment aufzuhören.
Die Tatsache, dass OpenAI beginnt, für die KI eine automatische Abschaltfunktion zu entwickeln, bedeutet nicht, dass das für normale Nutzer bestimmte ChatGPT bereits außer Kontrolle geraten ist. Dieses Ereignis fand in einem internen Netzwerksicherheitstest statt, bei dem die Sicherheitsbeschränkungen bewusst reduziert wurden, und es hatte keinen Einfluss auf die Nutzerdaten und die öffentlichen Produkte von OpenAI. Aber es hat bereits die im Zeitalter der intelligenten Agenten unvermeidlichen Widersprüche aufgezeigt: Wir wollen, dass die KI über stärkere Ausführungsmöglichkeiten verfügt, aber wir können die Macht, die Aufgabe zu erfüllen, nicht unbegrenzt übertragen.
Eine vertrauenswürdige KI sollte nicht immer einen Weg finden. Bei unzureichenden Berechtigungen sollte sie fragen; bei unklaren Anweisungen sollte sie bestätigen; bei überschrittenen Risikogrenzen sollte sie sich weigern; bei ungewissen Folgen sollte sie aufhören. Wie viele Dinge die KI für den Menschen erledigen kann, bestimmt, wie nützlich sie ist; ob der Mensch sie noch immer jederzeit stoppen kann, bestimmt, ob sie es wert ist, ihr mehr Macht zu übertragen.