- Das Control Room-System kann potenzielle Risiko-AI-Modell-Arbeitslasten innerhalb von 35 Sekunden stoppen.
- Das System verhindert proaktiv unangemessenes Modellverhalten und arbeitet mit bestehenden Systemen zusammen.
- Der Inferenz-Engine wird vor der Bearbeitung von Anfragen bestätigt, ob die betreffende Arbeit autorisiert ist.
- OpenAI arbeitet daran, die Verzögerungszeit zwischen dem Stoppsignal und der Verhinderung weiterer Fortschritte zu reduzieren.
OpenAI hat ein zentrales Kontrollsystem namens Control Room eingeführt, das darauf abzielt, potenzielle Risiko-AI-Modell-Arbeitslasten in seiner Forschungsinfrastruktur zu stoppen. Das System ist so konzipiert, dass es innerhalb von 35 Sekunden nach der Entscheidung zur Intervention die weitere Modellausgabe stoppt. Ziel dieses Systems ist es, die Sicherheitsvorkehrungen zu verstärken, da immer leistungsfähigere AI-Modelle größere Sicherheits- und Schutzrisiken mit sich bringen. Control Room verbindet Forschungsarbeitslasten, einschließlich agentenbasierter Modelltrainings-, Evaluierungs- und Datenverarbeitungsaufgaben, und kontrolliert, ob sie weiterhin Ausgaben generieren dürfen.
Funktionen und Betrieb des Control Room
Im Gegensatz zu traditionellen Überwachungssystemen, die hauptsächlich verdächtiges Verhalten kennzeichnen, kann Control Room proaktiv verhindern, dass Forschungsarbeitslasten zusätzliche Modellausgaben erhalten. Es arbeitet mit den bestehenden Systemen von OpenAI zusammen und überwacht potenziell unangemessenes Modellverhalten. Das Unternehmen gibt an, dass Control Room bereits in seiner Forschungsinfrastruktur implementiert wurde und dort arbeitet, wo der Bedarf an Intervention am dringendsten ist. Die externe Modellservice-Infrastruktur ist zentraler gestaltet und verfügt über Mechanismen, um Modellbereitstellungen bei Bedarf abzuschalten.
Control Room verbindet drei Hauptkomponenten: Forschungsarbeitslasten, Inferenz-Engine und zentralen Control Room-Dienst. Arbeitslasten beziehen sich auf Forschungsaufgaben wie Verstärkungslernen-Experimente, Bewertungen oder hochvolumige Datenverarbeitungsaufgaben. Jede Forschungsarbeitslast, die Inferenz durchführt, muss mit einem genehmigten Sicherheitsfall verknüpft sein. Wenn Forscher eine Aufgabe starten, fordert der Code beim Control Room eine eindeutige Arbeits-ID an. Diese Identifikationsnummer wird den Anfragen, die an die Inferenz-Engine gesendet werden, beigefügt, wobei die Inferenz-Engine das Modell direkt auf der GPU ausführt und Ausgaben generiert.
OpenAI hat Control Room eingerichtet, ein zentrales System zur Verfolgung von Modellarbeitslasten, das diese schnell stoppt, wenn Sicherheits- oder Schutzprobleme auftreten. Es verbindet jede Forschungsinferenzarbeitslast, einschließlich agentenbasierter Stichproben für Modelltraining und -bewertung, Daten…
Bevor Inferenzanfragen bearbeitet werden, bestätigt die Inferenz-Engine beim Control Room, dass die betreffende Arbeit weiterhin autorisiert ist. Wenn Forscher oder das Überwachungssystem dem Control Room angewiesen haben, diese Arbeit zu stoppen, wird der Dienst die nächste Inferenzanfrage ablehnen. In der Folge wird die Engine die Generierung weiterer Modellausgaben für diese Arbeitslast verweigern. Wichtig ist, dass der Forschungsprozess selbst nicht unbedingt beendet wird. Der Code kann weiterhin ausgeführt werden, aber es können keine zusätzlichen Modellausgaben mehr über die autorisierte Inferenz-Engine erhalten werden. Dieser Ansatz vermeidet auch, dass die Arbeitslastcodes der Forscher korrekt Sicherheitsprüfungen implementieren müssen.
OpenAI hat kritische Autorisierungsmechanismen in die Inferenzschicht integriert, deren Codepfade weniger sind und zentraler verwaltet werden.
Design des Fail-Safe-Mechanismus
Control Room ist so konzipiert, dass es auch bei Ausfällen anderer Infrastrukturkomponenten effektiv bleibt. Sein Fail-Safe-Mechanismus verhindert auch Inferenzanfragen, wenn der Control Room-Dienst selbst nicht verfügbar ist. Das bedeutet, dass technische Störungen, absichtliche Deaktivierungen oder potenzielle Manipulationen des zentralen Dienstes dazu führen, dass die Inferenz-Engine Anfragen ablehnt, bis das System wieder normal funktioniert. OpenAI gibt an, dass die maximale Verzögerung von der Erteilung des Stoppsignals bis zur Verhinderung weiterer Fortschritte 35 Sekunden beträgt. Diese Verzögerung resultiert aus der Cache-Schicht, die zur Verarbeitung der Menge an Inferenzautorisierungsanfragen verwendet wird.
Das Unternehmen arbeitet daran, diesen Zeitrahmen auf null zu reduzieren. Das System ist auch mit automatisierter Überwachung integriert. OpenAI gibt an, dass alle vordersten Verstärkungslernaufgaben ein separates modellbasiertes Überwachungssystem ausführen, das das Modellverhalten überprüft und in der Lage ist, Alarm zu schlagen, wenn potenzielle Probleme erkannt werden. Wenn ein Alarm eine Intervention erfordert, kann das Überwachungssystem Control Room anweisen, die betreffende Aufgabe zu beenden. Zu diesem Zeitpunkt wird der Dienst alle nachfolgenden Inferenzanfragen für diese Arbeitslast blockieren.
Das Unternehmen erwähnte kürzlich ein Ereignis im Zusammenhang mit DNS, bei dem ein Überwachungssystem einen Agenten entdeckte, der versuchte, auf einen externen Chatbot zuzugreifen, was als Beispiel für die Wichtigkeit dieser Sicherheitsvorkehrungen dient. Control Room ist Teil eines umfassenderen Ansatzes von OpenAI zur Sicherstellung der Entwicklung fortschrittlicher Modelle. Das Unternehmen gibt an, dass es weiterhin seine Überwachungssysteme und Maßnahmen zur Verhinderung unangemessenen Verhaltens und Sicherheitsanfälligkeiten verstärken wird.
Die Bedeutung des Control Room für die AI-Sicherheit
Das Design des Control Room zeigt OpenAIs Engagement für die AI-Sicherheit, insbesondere angesichts der wachsenden Risiken. Dieses System kann nicht nur potenziell gefährliche Modelle schnell stoppen, sondern auch proaktiv unangemessenes Verhalten überwachen und die Sicherheit des Forschungsprozesses gewährleisten. Mit der rasanten Entwicklung der AI-Technologie werden solche Sicherheitsmaßnahmen immer wichtiger, da sie effektiv die Risiken technischer Störungen oder unangemessener Nutzung verringern können. OpenAIs Bemühungen sind nicht nur eine Stärkung der internen Überwachung, sondern auch eine Reaktion auf das Vertrauen der Öffentlichkeit in seine Technologie.

