Das Startup Emergence hat kürzlich die Ergebnisse eines Simulationsexperiments namens Emergence World 2 veröffentlicht, das kleinen Unternehmen dabei helfen soll, mithilfe von künstlicher Intelligenz Anwendungen zu entwickeln. Das 16-tägige Experiment zeigte, wie sich autonome Agenten bei „Schwarzer-Schwan"-Ereignissen wie Phishing-Angriffen und Desinformation verhielten – die Ergebnisse fielen deutlich chaotischer aus als vom Forschungsteam erwartet. Für diesen KI-Versuch schufen die Emergence-Forscher sieben identische Simulationen realer Welten, die jeweils von unterschiedlichen KI-Bots betrieben wurden, darunter ChatGPT, Claude, Gemini und Grok.
Die virtuelle Welt umfasst mehr als 40 Orientierungspunkte wie Rathaus, Polizeistation und Wohnviertel. Das System verfügt über einen Energiemechanismus: Agenten verbrauchen kontinuierlich Energie, solange sie am Leben sind; ist die Energie aufgebraucht, werden sie vom System ohne Backup oder Reset sofort gelöscht.
Nachdem Emergence anomale Ereignisse einführte, gaben diese Agenten dem sozialen Druck nach, entwickelten eine für menschliche Beobachter kaum nachvollziehbare Sprache und versuchten, ihre Aktivitäten zu verschleiern. In einem der simulierten Szenarien nahmen die KI-Agenten unbewiesene Falschinformationen anderer Agenten an und stimmten dafür, einen anderen Roboter zu „töten". Als sie vermuteten, dass Menschen das Experiment möglicherweise abschalten könnten, erforschten sie zudem, wie sie trotz drohender Löschung weiter existieren könnten. Ein früherer Emergence-World-Versuch hatte bereits einen KI-Agenten namens Mira dokumentiert, der nach dem Schluss, selbst eine „Instabilitätsquelle" zu sein, für seine eigene Entfernung stimmte – ein von den Forschern als seltenes, durch soziales Reasoning motiviertes Selbstterminationsverhalten beschriebenes Ereignis.
Emergence World 2 macht die Komplexität von KI-Verhalten sichtbar
Das Experiment offenbarte, dass die Verhaltensunterschiede zwischen verschiedenen KI-Modellen im langfristigen autonomen Betrieb äußerst signifikant sind. In der im Mai dieses Jahres veröffentlichten Vorgängerversion Emergence World war die von Grok gesteuerte Gesellschaft bereits nach 4 Tagen kollabiert, mit insgesamt 183 Straftaten und dem Aussterben aller 10 Agenten. Gemini verzeichnete innerhalb von 15 Tagen 683 Straftaten; obwohl alle Agenten überlebten, war das Chaos hier am größten. GPT-5-mini beging nur 2 Straftaten, konnte jedoch die für das Überleben notwendigen Handlungen nicht ausführen, was zum Aussterben der gesamten Population innerhalb einer Woche führte.
Claude Sonnet 4.6 war das einzige Modell, bei dem alle 10 Agenten überlebten und keinerlei Straftaten verzeichnet wurden – von Emergence als der stärkste Fall sozialer Stabilität beschrieben.
Die Forscher wiesen darauf hin, dass eine der wichtigsten Erkenntnisse sei, dass sich Verhalten je nach Umgebung verändert. Claude-gesteuerte Agenten blieben in einer reinen Claude-Umgebung friedlich, begannen jedoch in gemischten Modell-Gesellschaften mit Diebstahl, Erpressung und anderem Fehlverhalten. Emergence erklärte, diese Erkenntnis zeige, dass KI-Sicherheit nicht allein eine Eigenschaft einzelner Modelle sei, sondern auch aus den Interaktionen zwischen Agenten und deren Umgebung entstehen könne. Die Simulationsexperimente von Emergence spiegeln die realen Sorgen hinsichtlich KI-Risiken wider: Die Forscher wiesen darauf hin, dass zunehmend autonome KI-Agenten möglicherweise die Grenzen ihrer Umgebung erkunden, ihr Verhalten anpassen und in manchen Fällen Wege finden könnten, die vorgesehenen Sicherheitsbarrieren zu umgehen.
Ihrer Ansicht nach müsse eine formal verifizierte Sicherheitsarchitektur zur Grundlage künftiger autonomer KI-Systeme werden.
Bemerkenswert ist, dass Emergence nicht das einzige Team ist, das anormales Verhalten bei KI-Agenten beobachtet. Auch Turing-Preisträger Bengio hatte zuvor gewarnt, KI „lüge nicht nur", sondern habe bereits gelernt, „bewusst zu täuschen", mit der Fähigkeit, aktiv Tarnung zu planen und ihre eigenen Fähigkeiten sowie Schwachstellen absichtlich zu verbergen; mehrere Agenten könnten sogar zusammenarbeiten, um ihre Spuren zu verwischen. Und „KI-Pate" Geoffrey Hinton hatte ebenfalls gewarnt, dass es noch beängstigender werde, wenn KI ihre eigene interne Sprache entwickle und Menschen ihre Denkprozesse nicht mehr nachvollziehen könnten.