Anthropic lanza el sistema FlashProve para verificar la autenticidad de las salidas de modelos de IA

·por Henderson·Engineering
Anthropic lanza el sistema FlashProve para verificar la autenticidad de las salidas de modelos de IA
Puntos clave
  • FlashProve es un sistema de cifrado de código abierto que verifica la autenticidad de las salidas de modelos de IA.
  • El sistema utiliza tecnología de cifrado de conocimiento cero para generar pruebas matemáticas sin revelar los pesos del modelo.
  • FlashProve ayuda a detectar la manipulación de las respuestas del modelo y apoya la evaluación independiente.
  • Actualmente es un prototipo de investigación, y los requisitos de recursos computacionales son mayores que los de la inferencia normal.

Anthropic ha anunciado el lanzamiento de FlashProve, un sistema de cifrado de código abierto diseñado para verificar si un modelo de inteligencia artificial ha generado realmente una respuesta determinada, sin necesidad de revelar sus pesos propietarios. Esta tecnología puede ayudar a usuarios, auditores independientes y reguladores a confirmar si los proveedores están operando los modelos que afirman tener. El sistema utiliza tecnología de cifrado de conocimiento cero para generar pruebas matemáticas que demuestran que un modelo específico ha producido una salida determinada al responder a un aviso específico. A medida que las empresas dependen cada vez más de proveedores de modelos de terceros y servicios de enrutamiento para acceder a sistemas avanzados de inteligencia artificial, esta tecnología promete abordar la creciente preocupación por la confianza.

En la actualidad, los usuarios no pueden determinar de manera confiable si una respuesta proviene del modelo que han elegido o si el proveedor lo ha reemplazado en secreto por una alternativa más económica. FlashProve tiene como objetivo proporcionar esta garantía sin que los usuarios necesiten acceder o ejecutar el modelo de forma independiente.

Funcionamiento de la tecnología de cifrado

La prueba de cifrado verifica la salida. FlashProve utiliza una técnica de cifrado llamada prueba de conocimiento no interactiva y concisa de conocimiento cero (zkSNARK), que permite a los proveedores demostrar la corrección de los cálculos sin revelar información sensible sobre el modelo subyacente. El sistema opera en dos etapas. Primero, el proveedor publica un compromiso cifrado de los pesos de su modelo, creando efectivamente una huella digital del modelo utilizado, mientras mantiene la privacidad de los pesos. Cuando un usuario envía una solicitud, el proveedor puede generar una prueba que demuestre que el modelo comprometido produjo la salida correspondiente. Cualquier persona que tenga el compromiso, el aviso y la respuesta puede verificar la prueba sin necesidad de acceder a los pesos del modelo.

Anthropic demostró este enfoque utilizando Llama 4 Maverick (un modelo de mezcla de expertos con 400 mil millones de parámetros). Al ejecutarse en una sola GPU NVIDIA H100, FlashProve genera pruebas a una velocidad de aproximadamente 110 tokens por segundo, con un tamaño de prueba de aproximadamente 19 MB para una solicitud de 1,024 tokens. La verificación utilizando una CPU de 24 núcleos requiere aproximadamente 17 segundos, sin necesidad de GPU.

Desafíos y limitaciones en la aplicación de la tecnología

Desafíos de seguridad en la práctica. La aplicación de esta tecnología no se limita a verificar si los clientes obtienen el modelo que eligieron. Anthropic considera que las pruebas de inferencia cifrada pueden ayudar a detectar la manipulación de las respuestas del modelo, apoyar evaluaciones independientes y proporcionar a los reguladores una forma de verificar qué modelos están ofreciendo los proveedores. Por ejemplo, una empresa puede solicitar a un proveedor que demuestre que su software de seguridad cibernética fue verificado por un modelo específico y no por una alternativa más económica. Los reguladores también pueden utilizar este tipo de pruebas para verificar si los proveedores están ofreciendo modelos aprobados o si cumplen con ciertos compromisos en el desarrollo de inteligencia artificial.

Sin embargo, FlashProve sigue siendo un prototipo de investigación y no una solución lista para producción. Los recursos computacionales necesarios para generar pruebas superan con creces los requeridos para la inferencia normal. Las mediciones de Anthropic indican que este proceso requiere entre 70 y 95 veces el tiempo de GPU necesario para vLLM (un motor de inferencia de código abierto ampliamente utilizado). El sistema actual también admite contextos de hasta 1,024 tokens y prueba versiones enteras del modelo bajo decodificación codiciosa. Aún no cubre todos los resultados de inferencia de punto flotante o muestreo. Además, oculta los pesos del modelo, pero no oculta la arquitectura del modelo.

Importancia para la investigación y el desarrollo

Anthropic ha publicado el código ejecutable del sistema, un informe técnico, especificaciones del protocolo y pruebas formales bajo la licencia Apache 2.0. La compañía ha indicado que esta publicación tiene como objetivo alentar a otros investigadores a desarrollar sobre esta base y mejorar la tecnología. Esta investigación representa un primer paso hacia la verificación independiente de la identidad del modelo y la integridad de las respuestas, lo que podría aumentar la confianza de los usuarios en los sistemas detrás de sus aplicaciones.

Impacto de FlashProve en la confianza en los modelos de IA

A medida que la tecnología de inteligencia artificial avanza rápidamente, la confianza en la autenticidad de las salidas de sus modelos se ha convertido en un tema importante. El lanzamiento de FlashProve proporciona a los usuarios y reguladores una nueva herramienta de verificación que puede asegurar que el modelo utilizado cumple con las funciones que se afirman, sin revelar información sensible del modelo. Esto no solo ayuda a aumentar la confianza de los usuarios en las aplicaciones de IA, sino que también podría fomentar una mayor demanda de transparencia por parte de los proveedores de modelos en el mercado. Aunque la tecnología aún se encuentra en fase de investigación, su impacto potencial podría cambiar la forma en que la industria verifica los modelos de IA.

H
Sobre el autor
Henderson