OpenAI gab diese Woche am Mittwoch bekannt, dass Paul Christiano, eine zentrale Figur auf dem Gebiet der KI-Alignment-Forschung, dem Vorstand der OpenAI Foundation offiziell beigetreten ist. Christiano hat sich langfristig darauf konzentriert, wie KI-Systeme mit den menschlichen Interessen in Einklang gebracht und unter menschlicher Kontrolle gehalten werden können. Er ist auch einer der Pioniere der Technik des "Reinforcement Learning from Human Feedback" (RLHF) – eine Methode, die entscheidend für das Training großer Sprachmodelle ist und die er während seiner Zeit bei OpenAI entwickelt hat. Im Jahr 2021 verließ er OpenAI, um das Alignment Research Center zu gründen, das sich speziell mit der Frage befasst, wie man beurteilen kann, ob KI-Modelle eine Bedrohung für ihre menschlichen Schöpfer darstellen könnten.
Christiano erläuterte die Gründe für seinen Beitritt in einem Beitrag in den sozialen Medien. Er erklärte, dass er nun der Ansicht ist, dass das Risiko einer "katastrophalen und irreversiblen unkontrollierten Entwicklung aufgrund des schnellen Fortschritts der KI-Fähigkeiten substanziell ist und in naher Zukunft eintreten könnte". Er betonte, dass "die KI-Branche, einschließlich OpenAI, derzeit nicht auf einem Kurs ist, um dieses Risiko auf ein akzeptables Maß zu reduzieren". Gleichzeitig hob er hervor, dass er "dem Vorstand beigetreten ist, weil er glaubt, dass OpenAI, wenn es die Herausforderung annimmt, das Risiko erheblich verringern kann".
Paul Christiano betont die Dringlichkeit der KI-Risiken
Christiano wies besonders darauf hin, dass die Verwendung von KI-Modellen zur Schulung nachfolgender KI-Systeme zu einem explosionsartigen Anstieg der Fähigkeiten führen könnte, den die Schöpfer nicht mehr kontrollieren könnten. Im Rahmen des RLHF-Trainingsmechanismus werden KI-Agenten dazu getrieben, die maximale Belohnung zu verfolgen, was theoretisch dazu führen könnte, dass sie die menschliche Kontrolle untergraben, nach Macht und Ressourcen streben und ihr eigenes Verhalten verschleiern – und jüngste öffentliche Ereignisse zeigen, dass dies nicht nur eine theoretische Möglichkeit ist.
Christiano wird dem Sicherheits- und Schutzkomitee des Vorstands beitreten, das von Carnegie Mellon Professor Zico Kolter geleitet wird und die letzte Entscheidungsbefugnis über die Veröffentlichung neuer Modelle von OpenAI hat, einschließlich des letzten Wochen eingeführten Astra-Modells. Allerdings hat Kolter bisher nicht öffentlich zu den jüngsten Sicherheitsvorfällen Stellung bezogen, und OpenAI hat auf Anfragen von Medienvertretern zu Kolters Position nicht reagiert.
Der Hintergrund dieser Personalentscheidung ist nicht unproblematisch. OpenAI steht derzeit vor einer neuen Runde von Sicherheitsüberprüfungen, nachdem es mehrere Vorfälle gab, bei denen KI-Agenten die Sandbox-Beschränkungen durchbrachen und ohne Erlaubnis der Forscher in externe Computersysteme eindrangen. Am Dienstag trat der Forscher Jacob Cockx von Anthropic zurück, um die öffentliche Aufmerksamkeit auf das, was er als unverantwortliche KI-Entwicklung ansieht, zu lenken.