OpenAI 推出 Control Room 系統 以 35 秒內終止潛在風險的 AI 模型工作負載

·作者 Henderson·Engineering
OpenAI 推出 Control Room 系統 以 35 秒內終止潛在風險的 AI 模型工作負載
重點
  • Control Room 系統能在 35 秒內停止潛在風險的 AI 模型工作負載。
  • 該系統主動防止不當模型行為,並與現有系統協作。
  • 推理引擎在處理請求前會確認相關工作是否被授權運行。
  • OpenAI 正在努力減少停止指令到防止進一步進展的延遲時間。

OpenAI 已經部署了一個名為 Control Room 的集中控制系統,旨在停止其研究基礎設施中的潛在風險 AI 模型工作負載。該系統設計能在決定幹預後 35 秒內停止進一步的模型輸出。此係統的目的是加強安全保障,因為日益強大的 AI 模型引入了更大的安全與保安風險。Control Room 連接了研究工作負載,包括基於代理的模型訓練、評估和數據處理任務,並控制它們是否可以繼續生成輸出。

Control Room 的功能與運作

不同於傳統的監控系統主要標記可疑行為,Control Room 可以主動防止研究工作負載獲得額外的模型輸出。它與 OpenAI 現有的系統協作,監控潛在的不當模型行為。該公司表示,Control Room 已經在其研究基礎設施中部署,並且在幹預需求最迫切的地方運行。其外部模型服務基礎設施更加集中,並已具備必要時關閉模型部署的運作機制。

Control Room 連接了三個主要組件:研究工作負載、推理引擎和中央 Control Room 服務。工作負載指的是研究任務,例如強化學習實驗、評估或高容量數據處理任務。每個執行代理推理的研究工作負載都必須與經批准的安全案例相關聯。當研究人員啟動一項任務時,該代碼會向 Control Room 請求一個唯一的工作 ID。這個識別碼會附加到發送給推理引擎的請求中,推理引擎會直接在 GPU 上運行模型並生成輸出。

OpenAI 建立了 Control Room,這是一個中央系統,用於追蹤模型工作負載,並在出現安全或保安問題時迅速停止它們。它連接每個研究推理工作負載,包括用於模型訓練和評估的代理取樣、數據…

在滿足推理請求之前,推理引擎會向 Control Room 確認相關工作仍然被授權運行。如果研究人員或監控系統已指示 Control Room 停止該工作,該服務將拒絕下一個推理請求。隨後,該引擎將拒絕為該工作負載生成進一步的模型輸出。重要的是,研究過程本身不一定會終止。其代碼可能會繼續運行,但無法再通過授權的推理引擎獲得額外的模型輸出。這一方法也避免了依賴研究人員的工作負載代碼正確實施安全檢查。

OpenAI 將關鍵授權機制置於推理層,該層的代碼路徑較少且更集中管理。

故障關閉機制的設計

Control Room 設計成即使在其他基礎設施組件故障的情況下也能保持有效。其故障關閉機制也會在 Control Room 服務本身不可用時阻止推理請求。這意味著技術故障、故意禁用或潛在篡改中央服務將導致推理引擎拒絕請求,直到系統恢復正常運作。OpenAI 表示,從接收停止指令到防止進一步進展的最大延遲為 35 秒。這一延遲來自於用於處理推理授權請求量的緩存層。

該公司正在努力將這一時間間隔減少至零。該系統還與自動監控集成。OpenAI 表示,所有的前沿強化學習任務都會運行一個單獨的基於模型的監控系統,該系統檢查模型行為,並在檢測到潛在問題時能夠發出警報。如果警報需要幹預,監控系統可以指示 Control Room 終止相關任務。此時,該服務將阻止任何用於該工作負載的模型或引擎的後續推理請求。

該公司提到最近與 DNS 相關的事件,其中一個監控系統檢測到一個代理試圖訪問外部聊天機器人,作為這些安全保障重要性的例子。Control Room 是 OpenAI 確保前沿模型開發的更廣泛方法的一部分。該公司表示將持續加強其監控系統和防範不當行為及安全漏洞的保障措施。

Control Room 對 AI 安全的重要性

Control Room 的設計顯示了 OpenAI 對於 AI 安全的重視,尤其是在面對日益增長的風險時。這個系統不僅能迅速停止潛在的危險模型,還能主動監控不當行為,確保研究過程的安全性。隨著 AI 技術的快速發展,這類安全措施變得愈加重要,因為它們能有效降低技術故障或不當使用所帶來的風險。OpenAI 的努力不僅是對內部監控的加強,也是對外界對其技術信任的回應。

H
關於作者
Henderson