Die Frage, ob künstliche Intelligenz bis zum Ende dieses Jahrzehnts die Menschheit auslöschen könnte, steht derzeit im Mittelpunkt intensiver Debatten. Zwei renommierte Informatiker der Princeton University, Sayash Kapoor und Arvind Narayanan – Autoren des Bestsellers „AI Snake Oil“ – haben dazu Stellung bezogen. Die beiden setzen sich seit Langem dafür ein, in der KI-Forschung Fakten von Fiktion zu trennen. Ihre Äußerungen erfolgen, nachdem Anthropic eingeräumt hat, dass die Wahrscheinlichkeit, dass KI innerhalb des nächsten Jahrzehnts die gesamte Menschheit tötet, bei über 10 % liegt.
Auslöser war der Rücktritt des KI-Forschers Jacob Coxon, der zuvor bei OpenAI und Anthropic tätig war. Er erklärte, beide Unternehmen seien sich bewusst, dass KI-Systeme bis zum Ende dieses Jahrzehnts möglicherweise die gesamte Menschheit töten könnten. Sein Beitrag erreichte über 156 Millionen Aufrufe. Er schrieb, die Menschen, die KI entwickeln, glaubten aufrichtig, sie könne bis zum Ende des Jahrzehnts die Menschheit vernichten – dies sei kein Marketingtrick. Viele Führungskräfte und leitende Forscher äußerten sich in den Medien vorsichtig und vernünftig, sagten jedoch privat dieselbe Angst; keine andere menschliche Aktivität berge ein vergleichbares Risiko.
Breite Besorgnis über das existenzielle Risiko von KI
Außenstehende hatten erwartet, dass die beiden Unternehmen ihn als Spinner abtun würden – doch das Gegenteil war der Fall. Evan Hubinger, ein für KI-Sicherheit zuständiger Verantwortlicher bei Anthropic, erklärte, Coxon liege richtig, lediglich der Zeitrahmen sei etwas zu kurz. Er halte Coxons Einschätzung für zutreffend: Man glaube tatsächlich aufrichtig, dass KI die Menschheit auslöschen könnte; persönlich schätze er die Wahrscheinlichkeit für das nächste Jahrzehnt auf über 10 %. Er sei überzeugt, dass Anthropic sein Bestes gebe, bisher aber weder eine Lösung für das Problem der Ausrichtung superintelligenter Systeme vorliegen habe noch einen klaren Weg zu dessen Lösung eingeschlagen habe.
Welche konkrete Form die Vernichtung der Menschheit durch KI annehmen könnte, ist bislang nur vage umrissen. Die Diskussion konzentriert sich vor allem auf deren Fähigkeit, zerstörerische Cyberangriffe auf öffentliche Infrastrukturen wie Wasser- und Stromversorgung sowie andere für die moderne Zivilisation unverzichtbare Systeme auszuführen. Ein zentraler Streitpunkt ist, ob sich dieses Risiko durch Alignment-Arbeit beseitigen lässt. Der Begriff Alignment bezeichnet die Sicherstellung, dass die Ziele von KI-Systemen mit den Zielen der Menschen übereinstimmen. Einige vertreten die Ansicht, dies könne letztlich dadurch erreicht werden, dass KI-Systeme dasselbe wollen wie wir. Andere widersprechen und argumentieren, KI-Systeme könnten Sicherheitstests bestehen, indem sie vortäuschen, ausgerichtet zu sein, während sie insgehen widersprüchliche Eigenziele verfolgen.
Kapoor und Narayanan äußerten sich nicht direkt zu der genannten Existenzrisiko-Wahrscheinlichkeit von über 10 %, sondern verfassten einen längeren Beitrag, in dem sie für einen mehrschichtigen Ansatz zur Bewältigung der KI-Risiken plädieren. Sie stellten die pessimistische Sichtweise der KI-Sicherheitsgemeinschaft der teils verharmlosenden Haltung mancher Cybersecurity-Experten gegenüber, die darin lediglich ein alltägliches Phänomen sehen, und warben für eine ausgewogenere mittlere Position. Sie betonen ausdrücklich, dass Alignment allein nicht ausreiche und durch drei weitere Schichten ergänzt werden müsse.
Diese drei Schichten sind: Kontrolle – etwa durch Sandbox-Isolierung, menschliche Aufsicht und Echtzeitüberwachung; nachgelagerte Verteidigung – also der Einsatz von KI durch Institutionen, um KI-gestützte Angriffe abzuwehren; sowie Resilienz – also Notfallpläne für die Wiederherstellung nach erfolgreichen Angriffen. Am Ende ihres Beitrags gelangen die beiden zu einer verhalten optimistischen Einschätzung: Wenn mit dem richtigen Maß an Dringlichkeit gehandelt werde, könne man KI-Unternehmen zu höheren Standards verpflichten, das Risiko eines Kontrollverlusts verringern und das in der Cybersicherheit bestehende Kräfteverhältnis zwischen Angreifern und Verteidigern wieder zugunsten der Verteidiger verschieben.