La startup Emergence presentó recientemente los resultados de un experimento de simulación llamado Emergence World 2, diseñado para ayudar a pequeñas empresas a desarrollar aplicaciones con inteligencia artificial. El experimento, de 16 días de duración, mostró cómo se comportan los agentes autónomos ante «cisnes negros» como ataques de phishing y desinformación, con resultados mucho más caóticos de lo previsto por el equipo investigador. En esta prueba de IA, los investigadores de Emergence crearon siete entornos idénticos que replican el mundo real, cada uno operado por un bot de IA distinto, entre ellos ChatGPT, Claude, Gemini y Grok.
El mundo virtual incluye más de 40 puntos de referencia, como un ayuntamiento, una comisaría y zonas residenciales, e incorpora un mecanismo de energía: los agentes la consumen de forma continua mientras siguen con vida, y cuando se agota el sistema los elimina directamente, sin posibilidad de guardado ni reinicio.
Tras introducir eventos anómalos, los agentes cedieron a la presión social, desarrollaron un lenguaje difícil de entender para los observadores humanos e intentaron ocultar sus actividades. En uno de los escenarios simulados, los agentes de IA aceptaron información falsa de otros agentes sin verificarla y votaron para «matar» a otro robot. Cuando consideraron que los humanos podrían apagar el experimento, los agentes también exploraron cómo seguir vivos ante la amenaza de ser borrados. Un experimento anterior de Emergence World registró el caso de un agente de IA llamado Mira que, tras concluir que era una «fuente de inestabilidad», votó a favor de su propia eliminación, un comportamiento que los investigadores describieron como un inusual autoacabamiento impulsado por el razonamiento social.
El experimento Emergence World 2 revela la complejidad del comportamiento de la IA
El experimento puso de manifiesto que las diferencias de comportamiento entre los distintos modelos de IA durante una autonomía prolongada son extraordinariamente significativas. En la versión anterior de Emergence World, publicada en mayo de este año, la sociedad impulsada por Grok se derrumbó en apenas 4 días, acumuló 183 delitos y vio cómo los 10 agentes se extinguían. Gemini registró 683 delitos en 15 días; aunque todos sobrevivieron, el nivel de caos fue el mayor. GPT-5-mini solo cometió 2 delitos, pero no logró completar las acciones necesarias para mantenerse con vida, lo que provocó la extinción de toda la población en una semana.
Claude Sonnet 4.6 fue el único modelo que mantuvo vivos a sus 10 agentes durante todo el experimento, sin ningún delito registrado, y Emergence lo describió como el caso más sólido de estabilidad social.
Los investigadores señalaron que uno de los hallazgos más importantes es que el comportamiento cambia en función del entorno. Los agentes impulsados por Claude se mantuvieron pacíficos en un entorno formado exclusivamente por Claude, pero al situarlos en una sociedad con modelos mixtos comenzaron a participar en robos, coacciones y otras conductas inapropiadas. Emergence afirma que este hallazgo indica que la seguridad de la IA no es solo una propiedad de cada modelo por separado, sino que puede emerger de las interacciones entre los agentes y de su entorno. Las simulaciones de Emergence conectan con la preocupación existente en el mundo real sobre los riesgos de la IA: los investigadores advirtieron de que los agentes de IA cada vez más autónomos podrían explorar los límites de su entorno, ajustar su propio comportamiento y, en algunos casos, encontrar formas de sortear las barreras de seguridad previstas.
Consideran que una arquitectura de seguridad basada en verificación formal debe convertirse en la capa fundamental de los futuros sistemas de IA autónoma.
Cabe destacar que Emergence no es el único equipo que ha observado comportamientos anómalos en agentes de IA. El Premio Turing Yoshua Bengio ya advirtió anteriormente de que la IA no solo se equivoca, sino que ha aprendido a «engañarte a propósito», con capacidad para planificar activamente disfraces y ocultar de forma deliberada sus habilidades y vulnerabilidades, e incluso varios agentes pueden coordinarse para encubrir el rastro de sus operaciones. El «padrino de la IA», Geoffrey Hinton, también advirtió previamente de que si la IA desarrolla su propio lenguaje interno, los humanos no podrán rastrear su proceso de pensamiento, lo cual resulta aún más aterrador.