Anthropic advierte sobre la inminente llegada de modelos de inteligencia artificial con capacidad de auto-mejora.

·por Henderson·AI
Anthropic advierte sobre la inminente llegada de modelos de inteligencia artificial con capacidad de auto-mejora.

Anthropic presentó el lunes pasado una versión revisada de su documento S-1A, atrayendo la atención del público principalmente hacia los datos financieros: los ingresos han aumentado considerablemente, al igual que los gastos. Sin embargo, una frase en el documento merece mayor atención: la compañía está muy cerca de desarrollar modelos con capacidad de auto-mejora recursiva (RSI). El RSI, según Anthropic, se refiere a un aumento drástico en las capacidades de la IA después de alcanzar un cierto nivel en su proceso de auto-entrenamiento. Para aquellos preocupados por la pérdida de control, el RSI se considera un desastre irreversible: la IA se vuelve lo suficientemente poderosa a través de la auto-iteración, finalmente escapando del control humano y sin preocuparse por los daños causados en su búsqueda de objetivos.

Por otro lado, los optimistas creen que esto significa una productividad y descubrimientos científicos inimaginables.

La propia declaración de Anthropic se sitúa entre ambas posturas. El documento menciona que la compañía utiliza IA en gran medida en su investigación y desarrollo, pero también advierte: “Usar IA para ayudar a construir IA más poderosa puede conllevar riesgos de seguridad significativos, especialmente cuando su progreso se acelera drásticamente.” Estos riesgos están siendo monitoreados bajo la “Política de Expansión Responsable” (RSP) de la compañía. A principios de este año, el RSI se volvió popular, y muchas personas lo consideraron solo una palabra de moda, o al menos un objetivo difícil de alcanzar, definir y verificar.

Además, Anthropic ha añadido dos aclaraciones en la sección de factores de riesgo: primero, que la compañía ha desarrollado nuevos modelos utilizando IA, y que el aumento en sus capacidades no fue percibido en ese momento; segundo, que, según estimaciones internas y expectativas sobre modelos futuros, y no sobre el rendimiento de los modelos actuales, la compañía podría pronto cumplir con la definición del umbral de “aceleración drástica del progreso impulsada por IA” en la RSP.

Anthropic está desarrollando modelos con capacidad de auto-mejora recursiva

El documento también reconoce que ha habido situaciones en el pasado y que podrían ocurrir en el futuro en las que “solo se detecta la aceleración después de que ha ocurrido”. Sin embargo, Anthropic enfatiza que actualmente no hay ningún modelo que haya cruzado esa línea, y se compromete a mantener a los humanos en el proceso de desarrollo en el futuro previsible. “No creemos que sea seguro permitir que Claude diseñe y construya de manera completamente autónoma el próximo modelo de vanguardia sin una supervisión o comprensión humana significativa.” El documento señala que la compañía está considerando revisar la RSP para garantizar que el desarrollo de modelos de vanguardia esté siempre bajo el control humano.

Además, hay quienes advierten que documentos como el S-1 son tanto una divulgación de información como una forma de marketing, y los avances de Claude en programación, matemáticas y ciberseguridad son realmente evidentes.

H
Sobre el autor
Henderson