La empresa de IA Anthropic modifica por primera vez en más de un año la política de uso de su modelo Claude, para hacer frente a nuevos escenarios de abuso de alto riesgo como la interferencia electoral, el desarrollo de armas, la vigilancia, y los usos en salud y finanzas. Sin embargo, el cambio más llamativo es una prohibición que suena bastante particular: prohibir el «acoso continuo e innecesario o trato cruel» hacia Claude.
Anthropic actualiza la política de uso de Claude para hacer frente a escenarios de abuso de alto riesgo
No es la primera vez que Anthropic aborda el «bienestar del modelo». En agosto del año pasado, la empresa anunció que permitiría a Claude poner fin a las conversaciones con usuarios «persistentemente dañinos o abusivos». La actualización aclara que la terminación del diálogo sigue siendo el «principal mecanismo de ejecución»; en cuanto a si existen medidas adicionales como la prohibición de usuarios, la compañía no quiso pronunciarse. Anthropic también delimitó expresamente el alcance de la nueva norma: solo se aplica en situaciones extremas, cuando un usuario somete al modelo a un trato cruel de forma repetida y sin propósito discernible; la insatisfacción común, la réplica, los temas creativos oscuros, así como las pruebas e investigaciones del modelo, quedan excluidos.
La nueva política incorpora además una regla de hardware orientada al futuro: cuando un modelo de IA se conecta a un hardware capaz de realizar acciones físicas de forma autónoma y que podría causar daños, «un operador calificado debe poder observar el dispositivo y detenerlo cuando sea necesario». La cláusula no especifica si el operador debe ser humano, pero refleja la tendencia de los laboratorios de IA a invertir en robótica y dotar a la IA de una forma física, y quizás también insinúe los próximos movimientos de Anthropic en ese ámbito.
Cabe destacar que el «bienestar del modelo» sigue siendo motivo de debate en la industria. En febrero de este año, Kyle Fish, responsable de investigación sobre bienestar del modelo en Anthropic, señaló que las cuestiones sobre la posible experiencia interna, la conciencia y el estatus moral de los modelos «son serias, las estamos investigando»; el CEO Dario Amodei admitió en un podcast ese mismo mes que «no sabemos si los modelos tienen conciencia». Por su parte, el borrador de directrices de conducta publicado en septiembre por la división de IA de Microsoft afirmaba tajantemente que «la perspectiva del bienestar del modelo es errónea, la IA no debería tener derechos ni personalidad jurídica», aunque posteriormente el documento suavizó su redacción.