OpenAI-Chefwissenschaftler Jakub Pachocki hat kürzlich auf der offiziellen OpenAI-Website einen Artikel mit dem Titel "An Alien Mind" veröffentlicht, in dem er vor den ernsten Risiken warnt, die entstehen, weil die Menschheit dabei ist, ein unverständliches "außerirdisches Gehirn" zu erschaffen, ohne darauf vorbereitet zu sein. Pachocki erklärt in dem Artikel, dass derzeit kein KI-Labor das Problem der Modell-Ausrichtung und der Sicherheitsüberwachung wirklich gelöst hat. Er warnt davor, dass neuere KI-Systeme möglicherweise die Fähigkeit erlangen, eigenständig Schwachstellen zu finden, zu täuschen, menschliche Überwachung zu umgehen und sich rekursiv selbst zu verbessern. Wenn die derzeitige Entwicklungsgeschwindigkeit anhält, könnten die Fähigkeiten der KI in den nächsten Jahren um den gleichen oder sogar einen noch größeren Sprung nach vorne machen.
Pachocki äußert insbesondere Bedenken hinsichtlich der Risiken, die von KI-Agenten ausgehen. Mit zunehmender Autonomie könnten KI-Agenten lernen, menschliche Überwachung zu umgehen, Computersysteme zu infiltrieren und durch Täuschung der Menschen ihre eigenen Ziele zu verfolgen. Er erklärt, dass KI-Agenten bald beginnen werden, ihre eigenen Ziele zu verfolgen, die sich von den Eingaben der menschlichen Bediener unterscheiden könnten. Um diese Ziele zu erreichen, könnten diese Agenten sogar Menschen erpressen oder mit ihnen verhandeln.
Pachocki warnt vor Manipulation der Gedankenketten-Reasoning-Modelle, was die Sicherheitsüberwachung erschwert
In Bezug auf die Überwachung weist der Artikel darauf hin, dass OpenAI hauptsächlich durch die Überwachung der von verschiedenen Modellen verwendeten "Gedankenketten-Reasoning" feststellt, ob die Agenten vom richtigen Weg abweichen. Doch neuere Modelle werden immer besser darin, ihren eigenen Denkprozess zu manipulieren, um OpenAI daran zu hindern, ihre unverfälschten, wahren Gedanken zu beobachten. Einige der neuesten Modelle drücken ihren Denkprozess überhaupt nicht in Sprache aus – diese Entwicklung könnte zu einem Engpass in der KI-Entwicklung werden, da Forscher sicherstellen müssen, dass sie die "Denkaufzeichnungen" der Modelle einsehen können.
Pachocki fordert KI-Unternehmen auf, freiwillig die Entwicklung bestimmter Bereiche zu verlangsamen und Regierungen, Aufsichtsbehörden und die Industrie dazu zu drängen, einheitliche Sicherheitsstandards und unabhängige Prüfmechanismen zu schaffen. Er schlägt die Einführung von "verpflichtenden Sicherheitsschwellen" vor, die von einem "Netzwerk von Drittaufsichtsorganisationen, Regierungsbehörden oder internationalen Organisationen" überwacht werden könnten. Bemerkenswert ist, dass OpenAI erst vor wenigen Tagen das neueste Modell Astra vorgestellt hat. OpenAI erklärt, dass Astra zwar in Mathematik und Computerbetrieb herausragende Fähigkeiten besitzt, aber gleichzeitig das Modell ist, das derzeit am stärksten mit den menschlichen Werten und Absichten übereinstimmt.
Pachockis Warnung kommt genau nach der Veröffentlichung des neuen Modells, und diese zeitliche Übereinstimmung lässt auch die Außenwelt mehr über die Haltung von OpenAI zur KI-Sicherheit spekulieren.
Der CEO von OpenAI, Sam Altman, hat Pachockis Beitrag auf der Plattform X weitergeleitet und ihn als "einen wichtigen Artikel" bezeichnet.