OpenAI lanza el sistema Control Room para detener cargas de trabajo de modelos de IA de riesgo potencial en menos de 35 segundos

·por Henderson·Engineering
OpenAI lanza el sistema Control Room para detener cargas de trabajo de modelos de IA de riesgo potencial en menos de 35 segundos
Puntos clave
  • El sistema Control Room puede detener cargas de trabajo de modelos de IA de riesgo potencial en 35 segundos.
  • Este sistema previene activamente comportamientos indebidos de los modelos y colabora con los sistemas existentes.
  • El motor de inferencia verifica si el trabajo relevante está autorizado para ejecutarse antes de procesar las solicitudes.
  • OpenAI está trabajando para reducir el tiempo de retraso entre la orden de detención y la prevención de avances adicionales.

OpenAI ha desplegado un sistema de control central llamado Control Room, diseñado para detener las cargas de trabajo de modelos de IA de riesgo potencial en su infraestructura de investigación. Este sistema está diseñado para detener la salida de modelos en un plazo de 35 segundos después de decidir intervenir. El propósito de este sistema es reforzar la seguridad, ya que los modelos de IA cada vez más potentes introducen mayores riesgos de seguridad y protección. Control Room conecta las cargas de trabajo de investigación, incluidas las tareas de entrenamiento de modelos basados en agentes, evaluación y procesamiento de datos, y controla si pueden continuar generando salida.

Funciones y operación de Control Room

A diferencia de los sistemas de monitoreo tradicionales que principalmente marcan comportamientos sospechosos, Control Room puede prevenir activamente que las cargas de trabajo de investigación obtengan salida adicional de modelos. Colabora con los sistemas existentes de OpenAI para monitorear comportamientos indebidos de los modelos. La compañía ha indicado que Control Room ya está desplegado en su infraestructura de investigación y opera en los lugares donde la necesidad de intervención es más urgente. Su infraestructura de servicios de modelos externos es más centralizada y cuenta con mecanismos operativos para cerrar implementaciones de modelos cuando sea necesario.

Control Room conecta tres componentes principales: cargas de trabajo de investigación, motor de inferencia y servicio central de Control Room. Las cargas de trabajo se refieren a tareas de investigación, como experimentos de aprendizaje por refuerzo, evaluación o tareas de procesamiento de datos de alta capacidad. Cada carga de trabajo de investigación que ejecuta inferencia debe estar asociada con un caso de seguridad aprobado. Cuando un investigador inicia una tarea, el código solicita a Control Room un ID de trabajo único. Este identificador se adjunta a las solicitudes enviadas al motor de inferencia, que ejecuta el modelo directamente en la GPU y genera salida.

OpenAI ha creado Control Room, un sistema central para rastrear cargas de trabajo de modelos y detenerlas rápidamente en caso de problemas de seguridad o protección. Conecta cada carga de trabajo de inferencia de investigación, incluidos los muestreos de agentes utilizados para el entrenamiento y evaluación de modelos, datos…

Antes de satisfacer las solicitudes de inferencia, el motor de inferencia verifica con Control Room si el trabajo relevante sigue estando autorizado para ejecutarse. Si los investigadores o el sistema de monitoreo han indicado a Control Room que detenga ese trabajo, el servicio rechazará la siguiente solicitud de inferencia. Posteriormente, el motor rechazará generar salida adicional de modelos para esa carga de trabajo. Es importante destacar que el proceso de investigación en sí no necesariamente se detendrá. Su código puede seguir ejecutándose, pero no podrá obtener salida adicional de modelos a través del motor de inferencia autorizado. Este enfoque también evita depender de que el código de carga de trabajo de los investigadores implemente correctamente las verificaciones de seguridad.

OpenAI ha colocado mecanismos de autorización clave en la capa de inferencia, cuya ruta de código es más reducida y está gestionada de manera más centralizada.

Diseño del mecanismo de apagado por fallos

Control Room está diseñado para seguir siendo efectivo incluso en caso de fallos en otros componentes de infraestructura. Su mecanismo de apagado por fallos también bloqueará las solicitudes de inferencia si el servicio de Control Room en sí no está disponible. Esto significa que fallos técnicos, desactivaciones intencionadas o posibles manipulaciones del servicio central llevarán al motor de inferencia a rechazar las solicitudes hasta que el sistema vuelva a funcionar normalmente. OpenAI ha indicado que el retraso máximo desde la recepción de la orden de detención hasta la prevención de avances adicionales es de 35 segundos. Este retraso proviene de la capa de caché utilizada para manejar la cantidad de solicitudes de autorización de inferencia.

La compañía está trabajando para reducir este intervalo de tiempo a cero. El sistema también se integra con monitoreo automático. OpenAI ha indicado que todas las tareas de aprendizaje por refuerzo de vanguardia ejecutarán un sistema de monitoreo basado en modelos separado, que revisa el comportamiento del modelo y puede emitir alertas al detectar problemas potenciales. Si se requiere intervención, el sistema de monitoreo puede indicar a Control Room que termine la tarea relevante. En ese momento, el servicio bloqueará cualquier solicitud de inferencia posterior para el modelo o motor utilizado en esa carga de trabajo.

La compañía mencionó recientemente un incidente relacionado con DNS, en el que uno de los sistemas de monitoreo detectó que un agente intentaba acceder a un chatbot externo, como un ejemplo de la importancia de estas medidas de seguridad. Control Room es parte de un enfoque más amplio de OpenAI para asegurar el desarrollo de modelos de vanguardia. La compañía ha afirmado que continuará fortaleciendo sus sistemas de monitoreo y las medidas de protección contra comportamientos indebidos y vulnerabilidades de seguridad.

Importancia de Control Room para la seguridad de la IA

El diseño de Control Room demuestra el compromiso de OpenAI con la seguridad de la IA, especialmente frente a los riesgos crecientes. Este sistema no solo puede detener rápidamente modelos potencialmente peligrosos, sino que también monitorea activamente comportamientos indebidos, asegurando la seguridad del proceso de investigación. A medida que la tecnología de IA avanza rápidamente, estas medidas de seguridad se vuelven cada vez más importantes, ya que pueden reducir eficazmente los riesgos asociados con fallos técnicos o usos indebidos. Los esfuerzos de OpenAI no solo refuerzan el monitoreo interno, sino que también responden a la confianza del público en su tecnología.

H
Sobre el autor
Henderson