OpenAI 推出 Control Room 系统 以 35 秒内终止潜在风险的 AI 模型工作负载

·作者 Henderson·Engineering
OpenAI 推出 Control Room 系统 以 35 秒内终止潜在风险的 AI 模型工作负载
重点
  • Control Room 系统能在 35 秒内停止潜在风险的 AI 模型工作负载。
  • 该系统主动防止不当模型行为,并与现有系统协作。
  • 推理引擎在处理请求前会确认相关工作是否被授权运行。
  • OpenAI 正在努力减少停止指令到防止进一步进展的延迟时间。

OpenAI 已经部署了一个名为 Control Room 的集中控制系统,旨在停止其研究基础设施中的潜在风险 AI 模型工作负载。该系统设计能在决定干预后 35 秒内停止进一步的模型输出。此系统的目的是加强安全保障,因为日益强大的 AI 模型引入了更大的安全与保安风险。Control Room 连接了研究工作负载,包括基于代理的模型训练、评估和数据处理任务,并控制它们是否可以继续生成输出。

Control Room 的功能与运作

不同于传统的监控系统主要标记可疑行为,Control Room 可以主动防止研究工作负载获得额外的模型输出。它与 OpenAI 现有的系统协作,监控潜在的不当模型行为。该公司表示,Control Room 已经在其研究基础设施中部署,并且在干预需求最迫切的地方运行。其外部模型服务基础设施更加集中,并已具备必要时关闭模型部署的运作机制。

Control Room 连接了三个主要组件:研究工作负载、推理引擎和中央 Control Room 服务。工作负载指的是研究任务,例如强化学习实验、评估或高容量数据处理任务。每个执行代理推理的研究工作负载都必须与经批准的安全案例相关联。当研究人员启动一项任务时,该代码会向 Control Room 请求一个唯一的工作 ID。这个识别码会附加到发送给推理引擎的请求中,推理引擎会直接在 GPU 上运行模型并生成输出。

OpenAI 建立了 Control Room,这是一個中央系统,用于追踪模型工作负载,并在出现安全或保安问题时迅速停止它们。它连接每个研究推理工作负载,包括用于模型训练和评估的代理取样、数据…

在满足推理请求之前,推理引擎会向 Control Room 确认相关工作仍然被授权运行。如果研究人员或监控系统已指示 Control Room 停止该工作,该服务将拒绝下一个推理请求。随后,该引擎将拒绝为该工作负载生成进一步的模型输出。重要的是,研究过程本身不一定会终止。其代码可能会继续运行,但无法再通过授权的推理引擎获得额外的模型输出。这一方法也避免了依赖研究人员的工作负载代码正确实施安全检查。

OpenAI 将关键授权机制置于推理层,该层的代码路径较少且更集中管理。

故障关闭机制的设计

Control Room 设计成即使在其他基础设施组件故障的情况下也能保持有效。其故障关闭机制也会在 Control Room 服务本身不可用时阻止推理请求。这意味着技术故障、故意禁用或潜在篡改中央服务将导致推理引擎拒绝请求,直到系统恢复正常运作。OpenAI 表示,从接收停止指令到防止进一步进展的最大延迟为 35 秒。这一延迟来自于用于处理推理授权请求量的缓存层。

该公司正在努力将这一时间间隔减少至零。该系统还与自动监控集成。OpenAI 表示,所有的前沿强化学习任务都会运行一个单独的基于模型的监控系统,该系统检查模型行为,并在检测到潜在问题时能够发出警报。如果警报需要干预,监控系统可以指示 Control Room 终止相关任务。此时,该服务将阻止任何用于该工作负载的模型或引擎的后续推理请求。

该公司提到最近与 DNS 相关的事件,其中一个监控系统检测到一个代理试图访问外部聊天机器人,作为这些安全保障重要性的例子。Control Room 是 OpenAI 确保前沿模型开发的更广泛方法的一部分。该公司表示将持续加强其监控系统和防范不当行为及安全漏洞的保障措施。

Control Room 对 AI 安全的重要性

Control Room 的设计显示了 OpenAI 对于 AI 安全的重视,尤其是在面对日益增长的风险时。这个系统不仅能迅速停止潜在的危险模型,还能主动监控不当行为,确保研究过程的安全性。随着 AI 技术的快速发展,这类安全措施变得愈加重要,因为它们能有效降低技术故障或不当使用所带来的风险。OpenAI 的努力不仅是对内部监控的加强,也是对外界对其技术信任的回应。

H
关于作者
Henderson