Una carta abierta sobre riesgos de IA, inusualmente concreta y procedente de personas internas, ha salido a la luz recientemente. Según informa The Wall Street Journal, la preocupación central de los firmantes es preservar la capacidad de monitoreo de la cadena de pensamiento (Chain of Thought) de los modelos. Sin embargo, estrictamente hablando, estos tres autores ya no pueden considerarse internos: acaban de ser despedidos por OpenAI.
La semana pasada, OpenAI anunció que había "terminado su relación con tres individuos por violar las políticas de la empresa sobre acceso y manejo de información sensible". Según se informa, los tres transmitieron información relevante a una organización de seguridad en IA. Sus identidades son Tomek Korbak, Mikita Balesni y Jasmine Wang; por sus declaraciones públicas, los tres creen que la IA plantea riesgos existenciales. Antes de ser despedidos, Balesni había declarado en X que consideraba que la IA "tiene un 10% de posibilidades de matar a toda la humanidad"; Wang escribió: "Es difícil describir adecuadamente lo peligroso que es acelerar en el camino hacia la mejora recursiva (RSI)", donde RSI se refiere a
la capacidad de los modelos de IA para auto-mejorarse.
Esta carta conjunta va dirigida al consejo de administración de OpenAI y al "comité de seguridad" de la empresa; por el momento no se ha publicado íntegramente, y The Wall Street Journal solo ha publicado extractos parciales. La frase central de la misiva dice: "Como industria, todavía no sabemos cómo desarrollar e implementar de forma segura modelos que no podemos monitorear... OpenAI y otras empresas de vanguardia no deberían impulsar investigaciones que debiliten aún más (esa capacidad de monitoreo)".
La preocupación concreta de la carta apunta al último modelo insignia de OpenAI, GPT-6 Astra. En torno al monitoreo de la cadena de pensamiento, Astra suscita dos temores: primero, que el modelo pueda estar aprendiendo a eludir los sistemas de monitoreo; segundo, que OpenAI estaría, según se dice, orientando la dirección técnica hacia un punto donde el monitoreo de la cadena de pensamiento pierda sentido. La ficha del sistema del modelo establece explícitamente: "Los modelos de nivel Astra podrían evadir nuestro monitoreo de la cadena de pensamiento en condiciones adversarias". Al mismo tiempo, el proceso de razonamiento de Astra implica un mecanismo aún más opaco, denominado "profundidad recurrente" (recurrent depth): hace que la consulta circule varias veces internamente en el modelo antes de generar contenido, en lugar de producirlo directamente, y este proceso ocurre dentro de una caja negra insondable,
de modo que el exterior no tiene ningún objeto que pueda monitorearse.