Anthropic ha anunciado oficialmente que ha comenzado a colaborar con la organización sin fines de lucro METR, otorgando acceso a nivel de empleado a sus modelos de inteligencia artificial para llevar a cabo evaluaciones independientes más robustas. Esta iniciativa forma parte del compromiso de la empresa, realizado el mes pasado, de fortalecer la evaluación independiente de sus modelos y prácticas de seguridad.
Razones para colaborar con evaluadores independientes
A medida que las capacidades de los modelos continúan mejorando, también aumentan las exigencias en cuanto a medidas de seguridad y evaluación de riesgos. Anthropic ha declarado que desea ser responsable de las decisiones que toma, pero no puede compartir públicamente toda la información relacionada con su trabajo de seguridad, ya que ciertos datos podrían ser utilizados por actores malintencionados o son comercialmente sensibles.
“Queremos reducir la brecha entre la comprensión de los evaluadores sobre los sistemas de las empresas de inteligencia artificial de vanguardia y la comprensión que tiene la propia empresa.”
Anthropic
El papel de METR y el método de evaluación
METR será responsable de evaluar los informes de riesgos de Anthropic y de hacer públicos los resultados de sus evaluaciones de riesgos. Anthropic ya ha colaborado con METR en varias revisiones de informes de riesgos y planea fortalecer aún más su colaboración con otras agencias de evaluación, incluyendo SecureBio y Accenture.
“Nuestro objetivo es asegurarnos de que nuestros socios puedan proteger la información confidencial y cuenten con los recursos y la experiencia necesarios para evaluar nuestros modelos.”
Anthropic
Niveles de acceso para evaluadores y su impacto
Anthropic planea establecer tres niveles de acceso para los evaluadores, aumentando gradualmente el acceso a la información a medida que avanza la colaboración. Los evaluadores de primer nivel llevarán a cabo investigaciones de riesgos en un sentido más restringido, mientras que los evaluadores de segundo nivel podrán publicar resultados sin necesidad de aprobación de la empresa. La colaboración con METR corresponde al tercer nivel, disfrutando de un acceso similar al de los empleados.
“Creemos que cada empresa de inteligencia artificial de vanguardia debería adoptar medidas de evaluación similares integradas.”
Anthropic
Esta serie de medidas marca un paso importante para Anthropic en la regulación de la seguridad en inteligencia artificial, con el objetivo de aumentar la transparencia y la responsabilidad en relación con sus modelos.
Fuente: Comunicado oficial de Anthropic