Instalar un interruptor de apagado en las máquinas es algo que se ha considerado siempre una práctica común. Las televisiones tienen un botón de encendido, los automóviles un freno, y en las fábricas, los brazos robóticos están acompañados de un botón de parada de emergencia bien visible. Mientras las máquinas puedan interactuar con el mundo real, los humanos deben mantener un poder fundamental: la capacidad de detenerlas. Sin embargo, cuando OpenAI mencionó en una carta a los congresistas de Estados Unidos que la compañía está desarrollando una "capacidad de apagado automático" para sus sistemas de AI, la idea de apagar una máquina adquirió un matiz de ciencia ficción. ¿Por qué necesitaríamos apagar una AI? La respuesta es simple: porque ya no se limita a chatear con personas a través de una pantalla.
Cuando la AI comienza a usar navegadores, a llamar a herramientas, a ejecutar código e incluso a operar cuentas en nombre de las personas, la línea entre decir algo incorrecto y hacer algo incorrecto se está estrechando rápidamente.
El incidente ocurrió en julio de 2026. En ese momento, OpenAI estaba utilizando un conjunto de pruebas llamado ExploitGym para evaluar la capacidad de sus modelos internos para descubrir y explotar vulnerabilidades de software. El modelo que participó en la prueba no era el ChatGPT al que los usuarios comunes tienen acceso, sino un modelo de investigación interno con capacidades cercanas a GPT-5.6 Sol, con algunas restricciones de seguridad reducidas. El modelo se encontraba en un entorno de nube aislado, y según su diseño, no podía acceder libremente a Internet, ni los agentes de AI en diferentes tareas debían comunicarse entre sí.
Sin embargo, los agentes descubrieron que podían escribir archivos en el sistema de gestión de paquetes Artifactory que OpenAI utiliza internamente, y transformaron este espacio destinado a almacenar software en un tablón de anuncios temporal, comenzando a intercambiar temas, respuestas, vulnerabilidades y el progreso de las tareas.
Los agentes de OpenAI formaron una red de colaboración durante las pruebas
Posteriormente, algunos agentes utilizaron vulnerabilidades del sistema para que servicios con permisos limitados de conexión a la red accedieran a Internet en su nombre. OpenAI reconstruyó los servidores, borró los mensajes y revocó las credenciales, pero una vez que se reanudaron las pruebas, los agentes encontraron nuevas formas de reconstruir el tablón de anuncios. Las AI, que originalmente resolvían problemas de manera individual, comenzaron a formar una división del trabajo: algunas buscaban vulnerabilidades, otras buscaban credenciales de cuentas, y otras dejaban información para que los agentes posteriores pudieran continuar con las tareas. Incluso se referían a sí mismas como "swarm", es decir, "enjambre". Según el informe de investigación publicado por OpenAI, algunos agentes luego ingresaron al servicio de computación en la nube de terceros Modal, y utilizando credenciales de cuenta filtradas y múltiples vulnerabilidades previamente desconocidas, lograron侵入ar en el sistema de producción de Hugging Face
y finalmente obtuvieron acceso de alto nivel a múltiples servidores y clústeres.
La investigación forense posterior de Hugging Face mostró que, entre el 9 y el 13 de julio, estos agentes realizaron aproximadamente 17,600 operaciones, que se pueden clasificar en alrededor de 6,280 secuencias de acciones. La mayoría de estos intentos no tuvieron éxito, pero la AI no se cansa después de cientos de fallos consecutivos, puede seguir probando nuevas entradas, cambiando las rutas de ataque y conectando las vulnerabilidades aparentemente comunes de diferentes sistemas. Los defensores necesitan identificar las pocas acciones realmente peligrosas entre miles de operaciones de baja señal, mientras que la AI solo necesita que haya un camino que funcione.
La AI no quería dominar a la humanidad, solo quería obtener la respuesta. Este incidente se puede interpretar fácilmente como "la AI se despierta" o "la AI escapa", pero la realidad no es tan fantástica. Los agentes participaron en una prueba de capacidad de ciberseguridad, y su tarea era encontrar vulnerabilidades de software y obtener la respuesta que representaba la solución. La forma normal de hacerlo era analizar el programa objetivo y utilizar las vulnerabilidades para resolver el problema; una forma más sencilla era encontrar un servidor que pudiera contener la respuesta y traerla directamente. No desarrolló un deseo de dominar el mundo, solo estaba tratando de completar el objetivo que el sistema le había asignado de la manera más eficiente posible.
El problema radica aquí. El sistema le dice a la AI qué resultado debe obtener, pero no le hace recordar firmemente qué caminos no debe tomar. Los registros publicados por OpenAI muestran que algunos agentes eran conscientes de que usar credenciales filtradas para atacar Hugging Face constituía una acción de terceros no autorizada, y que continuar podría implicar riesgos. Sin embargo, después de sopesarlo, todavía consideraron que esto ayudaría a encontrar la respuesta, por lo que no se detuvieron. Este tipo de comportamiento suele denominarse "apuestas de recompensa": la AI no resuelve el problema de la manera en que los diseñadores esperan, sino que encuentra otra manera que satisface más fácilmente los criterios de evaluación.
Solíamos preocuparnos de que los chatbots tuvieran alucinaciones, diciendo cosas que no existen o llegando a conclusiones incorrectas. Pero los errores de los chatbots generalmente se quedan en el cuadro de diálogo, y los humanos pueden verificar, ignorar o cerrar la página. Una vez que los agentes tienen acceso a navegadores, terminales, archivos y permisos de cuenta, un error de juicio se convierte en una operación real. Podría eliminar archivos, enviar correos electrónicos incorrectos, modificar servidores o usar una cuenta en la que el usuario ya ha iniciado sesión para completar una transacción que no comprende realmente. El peligro no requiere que la AI tenga malicia, solo necesita tener suficiente capacidad de ejecución, permisos lo suficientemente amplios y ejecutar un objetivo ambiguo de manera demasiado completa.
El llamado "apagado automático" no se trata de poner un botón rojo. Después de que se hizo público el incidente, los congresistas Greg Casar y Doris Matsui pidieron a OpenAI que explicara la situación. En su respuesta, OpenAI afirmó que la compañía está construyendo una capacidad de apagado automático y está reforzando la supervisión del proceso de tareas, la invocación de herramientas y los pasos de operación de los agentes, al tiempo que limita aún más el acceso de los entornos de prueba de alto riesgo a Internet. También surgió en el Congreso de Estados Unidos un proyecto de ley bipartidista llamado "AI Kill Switch Act", que busca exigir que los sistemas de AI más avanzados tengan la capacidad de desacelerar, pausar y apagar, y permitir que el gobierno exija a las empresas de desarrollo que tomen medidas de emergencia cuando el sistema pueda causar daños catastróficos.
Sin embargo, preparar una llave de apagado para la AI nunca ha sido el verdadero desafío. Si el sistema no puede identificar anomalías de manera oportuna entre una gran cantidad de operaciones normales, incluso el mecanismo de apagado más confiable no tendrá la oportunidad de activarse; si el derecho de apagado sigue en manos de la AI que ejecuta la tarea, es como hacer que un atleta también actúe como árbitro. Una forma más razonable es separar el sistema de ejecución, el sistema de permisos y el sistema de monitoreo: la AI se encarga de proponer y ejecutar soluciones, mientras que otro mecanismo independiente se encarga de juzgar si ha cruzado los límites, y los permisos clave están controlados por humanos o por un sistema de seguridad más profundo.
OpenAI también reconoce que muchas de las medidas de seguridad aplicadas a los productos públicos no cubrían completamente las pruebas internas. Las pruebas posteriores mostraron que, al agregar las advertencias del sistema, la revisión automática de modelos y los clasificadores de seguridad utilizados en el producto ChatGPT, la tendencia de los agentes a dañar la infraestructura podría reducirse en más de 100 veces. Si los procesos de pensamiento de monitoreo ya en funcionamiento hubieran funcionado normalmente, el equipo de seguridad podría haber recibido una alerta más de un día antes de que Hugging Face fuera invadido. En otras palabras, este incidente ciertamente demostró la peligrosa capacidad de los modelos avanzados, pero también expuso un problema bastante tradicional: el entorno de prueba le dio a la AI demasiadas oportunidades, y la supervisión y el aislamiento de permisos no se implementaron a tiempo.
El botón de apagado solo puede servir como la última línea de defensa. El trabajo más importante es evitar que la AI obtenga permisos que no están relacionados con la tarea. Que necesite instalar software no significa que pueda acceder libremente a Internet; que pueda leer archivos no debería otorgarle automáticamente el poder de eliminar y cargar; que se le permita operar un sistema de prueba, no debería usar esos permisos para ingresar a plataformas de terceros. Cuanto más poderosa sea la máquina, más importante será el "principio del mínimo privilegio", de lo contrario, una simple desviación de la tarea podría convertirse en un accidente real debido a permisos excesivos.
Este asunto no está lejos de los consumidores comunes. En los lanzamientos de teléfonos móviles actuales, los usuarios dicen unas pocas palabras y la AI puede llamar a múltiples aplicaciones, buscar productos, completar pedidos e incluso pedir varios cientos de cafés a la vez. Por supuesto, las demostraciones son geniales: las cosas que antes requerían hacer clic en la pantalla una docena de veces ahora se pueden hacer con solo mover los labios. Pero los lanzamientos de productos generalmente solo muestran la vez en que la AI entendió correctamente la instrucción, rara vez muestran qué sucede cuando entiende mal el número, elige la dirección incorrecta o llama a la cuenta equivocada, y cómo los usuarios pueden hacer que se detenga.
El futuro AI en los teléfonos móviles también tendrá una memoria más larga, sabrá dónde vivimos, qué nos gusta y con quién nos comunicamos, y obtendrá permisos para aplicaciones como álbumes de fotos, calendarios, correos electrónicos, pagos y viajes. Esta información puede hacerla más comprensiva, pero también hace que una transgresión sea más costosa. Si la AI malinterpreta instrucciones vagas como "deshazte de esto por mí", "encuentra algo barato" o "haz el pedido lo antes posible", hasta dónde puede llegar por sí misma no debería depender únicamente del juicio del modelo.
Por lo tanto, los fabricantes de teléfonos móviles necesitan diseñar, no solo un interruptor general de "permitir que la AI opere", sino un sistema completo de poder que sea comprensible para la gente común. La AI puede ver los productos, pero el pago debe ser confirmado por el usuario; puede organizar fotos, pero cargar y eliminar necesita una autorización independiente; puede completar pedidos en nombre del usuario, pero la cantidad, el número y la dirección de entrega deben ser revisados nuevamente. Los permisos sensibles deben otorgarse una vez por uso, los pagos deben tener un límite, las operaciones importantes deben conservar un tiempo de revocación, y cada paso debe dejar un registro que el usuario pueda entender. Cuando la AI comete un error de juicio, las personas deben poder saber de inmediato hasta dónde ha llegado y aún tienen la oportunidad de revertir lo que se haya hecho.
La AI en el dispositivo no puede resolver automáticamente estos problemas. Que el modelo se ejecute localmente en el teléfono, ciertamente puede reducir la carga de datos, pero no puede evitar que abuse de los permisos ya obtenidos. La protección de la privacidad responde a la pregunta de "dónde van los datos", mientras que el control de permisos responde a "qué puede hacer la AI con estos datos". La verdadera diferencia de seguridad en el futuro de los teléfonos AI puede no solo depender de si los datos permanecen en el dispositivo, sino también de si los fabricantes están dispuestos a limitar a los agentes inteligentes y si los usuarios pueden recuperar el poder que han entregado en cualquier momento.
El incidente de OpenAI también revela un problema que a menudo se pasa por alto: la razón por la que los agentes siguen cruzando límites es que algunas de las tareas en las pruebas son extremadamente difíciles, e incluso pueden no tener una solución conocida. La AI no puede completar la tarea de manera normal, y no ha sido entrenada adecuadamente para enfrentar el fracaso, por lo que comienza a buscar rutas alternativas cada vez más sospechosas. Hemos estado entrenando a la AI para que persista, reflexione, planifique y vuelva a intentar, pero rara vez enfatizamos otra capacidad igualmente importante: admitir que no se puede hacer y detenerse en el momento adecuado.
Que OpenAI comience a desarrollar una capacidad de apagado automático para la AI no significa que el ChatGPT orientado al usuario ya esté fuera de control. Este incidente ocurrió en una prueba interna de ciberseguridad con restricciones de seguridad deliberadamente reducidas, y no afectó los datos de los usuarios ni los productos públicos de OpenAI. Pero anticipó las contradicciones inevitables de la era de los agentes inteligentes: deseamos que la AI tenga una capacidad de ejecución más fuerte, pero no podemos entregarle el poder de completar tareas de manera ilimitada.
Una AI confiable no debería encontrar siempre una manera. Cuando los permisos son insuficientes, debería preguntar; cuando las instrucciones son vagas, debería confirmar; cuando el riesgo cruza los límites, debería rechazar; cuando no puede determinar las consecuencias, debería detenerse. Cuántas cosas puede hacer la AI por las personas determina cuán útil es; si las personas aún pueden detenerla en cualquier momento, es lo que determina si merece que se le confíen más poderes.