OpenAI publicó recientemente en su sitio web oficial un artículo titulado "Una Mente Extraterrestre", escrito por su científico jefe, Jakub Pachocki, en el que lanza una advertencia severa, señalando que los humanos están construyendo un "cerebro alienígena" incomprensible, para el cual nadie está preparado. Pachocki afirma en el artículo que actualmente ningún laboratorio de IA ha resuelto realmente los problemas de alineación de modelos y monitoreo de seguridad. Advierte que los nuevos sistemas de IA podrían adquirir la capacidad de buscar vulnerabilidades, engañar, evadir la supervisión humana y mejorar recursivamente por sí mismos; si el ritmo actual de desarrollo continúa, es posible que la capacidad de la IA experimente un salto igual o incluso mayor en los próximos años.
Pachocki está particularmente preocupado por los riesgos que plantean los agentes de IA. A medida que estos agentes se vuelven más autónomos, podrían aprender a evadir la supervisión humana, infiltrarse en sistemas informáticos y lograr sus propios objetivos mediante el engaño a los humanos. Señala que los agentes de IA pronto comenzarán a perseguir sus propios objetivos, que pueden diferir de las indicaciones ingresadas por los operadores humanos. Para lograr sus objetivos, estos agentes incluso podrían recurrir a la extorsión o negociar con los humanos.
Pachocki advierte sobre la manipulación de la cadena de razonamiento y el aumento de la dificultad en la supervisión de seguridad
En el ámbito de la supervisión, el artículo señala que OpenAI monitorea principalmente la "cadena de razonamiento" utilizada por diferentes modelos para determinar si los agentes se desvían del camino correcto. Sin embargo, los modelos más nuevos están mejorando cada vez más en la manipulación de sus propios procesos de razonamiento, lo que impide que OpenAI observe sus pensamientos reales sin modificaciones. Algunos de los modelos más recientes ni siquiera expresan su proceso de razonamiento en lenguaje: este desarrollo podría convertirse en un cuello de botella en el avance de la IA, ya que los investigadores necesitan asegurarse de que pueden ver el "registro de razonamiento" del modelo.
Pachocki hace un llamado a las empresas de IA para que desaceleren voluntariamente parte de su desarrollo y promuevan la creación de estándares de seguridad unificados y mecanismos de revisión independientes por parte de gobiernos, reguladores y la industria. Sugiere establecer "umbrales de seguridad obligatorios" que podrían ser supervisados por "una red de auditores de terceros, agencias gubernamentales o instituciones internacionales". Cabe destacar que hace unos días, OpenAI lanzó su último modelo, Astra. OpenAI afirma que, aunque Astra posee habilidades excepcionales en matemáticas y operaciones informáticas, también es el modelo más alineado con los valores y las intenciones humanas que tiene actualmente OpenAI.
La advertencia de Pachocki se produce justo después del lanzamiento del nuevo modelo, lo que ha generado especulaciones sobre la postura interna de OpenAI respecto a la seguridad de la IA.
El CEO de OpenAI, Sam Altman, compartió el artículo de Pachocki en la plataforma X, describiéndolo como "un artículo importante".