Pangram, conocido por su detección de texto con IA, ha lanzado oficialmente su capacidad de detección multimodal. La herramienta de detección de imágenes de Pangram, Pangram Image 1.0, que anteriormente era solo una versión de vista previa de investigación, ahora está disponible en la web, en la API de la empresa y en la extensión de Chrome del mismo nombre.
Según Pangram, el detector de imágenes ha alcanzado una precisión del 99.96% en la identificación de imágenes generadas por IA en su conjunto de evaluación. La empresa también indicó que la precisión de este modelo ha mejorado en los últimos meses, especialmente en el manejo de imágenes editadas, imágenes de baja resolución y aquellas generadas por el modelo de IA más potente en la actualidad. En comparación con herramientas similares, TruthScan tiene una precisión del 96.33%, AI or Not del 91.38% y Sightengine del 88.33%, mostrando una diferencia bastante notable.
Sin embargo, es importante señalar que estos números provienen de conjuntos de evaluación construidos por cada empresa, por lo que no son uniformes y las comparaciones horizontales solo deben tomarse como referencia.
Ventajas de Pangram Image 1.0 en la detección de videos
Para los videos, se utiliza un enfoque diferente. Pangram ha preparado un modelo más ligero, Pangram Image 1.0 Flash, que procesa videos mediante detección cuadro por cuadro. La empresa afirma que su precisión en la identificación de videos generados por IA en el benchmark DF26 es del 98.7%, superando al segundo lugar por 29 puntos porcentuales; en el mismo benchmark, TruthScan tiene una precisión del 84.2% y Sightengine baja al 81.8%. Para validar los resultados, Pangram seleccionó 129 clips de video reales de plataformas sociales y generó versiones correspondientes utilizando 14 de los modelos de video de IA más recientes, creando así un conjunto de pruebas.
Pangram también indicó que su modelo ha sido comparado con detectores desarrollados por investigadores académicos, manteniendo siempre una ventaja en las pruebas de referencia.
La clave técnica radica en la "resiliencia". Este modelo ha sido entrenado específicamente para ver a través de artefactos comunes de interferencia, como compresión, desenfoque y ruido artificial, que anteriormente causaban fallos en los detectores. Además, puede mostrar en un mapa de calor las áreas específicas generadas por IA en una imagen, en lugar de simplemente dar un resultado de sí o no. El umbral de detección también se ha reducido: el tamaño mínimo de imagen ha bajado de 512×512 píxeles a 256×256 píxeles, aunque los resultados por debajo de 512 píxeles vendrán con una advertencia de menor confianza.
En términos de uso, Pangram ha incorporado la capacidad de detección de imágenes en su extensión de Chrome, que marcará el contenido de IA mientras los usuarios navegan por redes sociales, plataformas de compras, información de alquiler, entre otros. También se puede subir videos directamente en el sitio web para que el modelo determine si son generados por IA. Es importante destacar que cifras como el 99.96% provienen de los propios conjuntos de evaluación de la empresa, y el rendimiento en escenarios reales depende de cuántas veces se haya vuelto a guardar, comprimido y recortado la imagen. La lucha entre las herramientas de detección y los modelos generativos aún no muestra un final a la vista.