Google ha anunciado oficialmente el lanzamiento del benchmark de Agentes de Conocimiento Multimodal (Multimodal Knowledge Agent, MKA), diseñado para evaluar la capacidad de razonamiento de los agentes en el manejo de documentos visualmente complejos, con el fin de abordar tareas de trabajo del conocimiento en el mundo real.
Concepto de diseño del benchmark MKA
El benchmark MKA fue desarrollado en colaboración con Artificial Analysis, y se utiliza principalmente para evaluar el rendimiento de los agentes en la resolución de tareas de trabajo del conocimiento. La mayoría de los benchmarks de trabajo del conocimiento solo requieren soluciones textuales, sin reflejar las necesidades visuales en trabajos profesionales. Google afirmó: "Creamos MKA para medir cómo los agentes pueden manejar este trabajo visualmente complejo." (“We built MKA to measure how well agents can handle this visually complex work.”)Google
Aplicaciones y pruebas del benchmark
Para asegurar que el benchmark se alinee con los flujos de trabajo reales, Google colaboró con expertos de 10 industrias y 83 profesiones para crear un conjunto de 200 tareas de evaluación para MKA. Cada tarea es un proyecto de múltiples pasos que un profesional experimentado necesita entre tres y ocho horas para completar. Google señaló: "Cada tarea refleja un proyecto de múltiples pasos que toma a un profesional experimentado de tres a ocho horas para completar..." (“Each task reflects a multi-step project that takes a seasoned professional three to eight hours to complete…”)Google
Desempeño de Gemini 4 Carbon
Según los resultados de las pruebas, Gemini 4 Carbon ocupa el segundo lugar en calidad entre todos los modelos de prueba, y el costo de completar las tareas es, en promedio, seis veces menor que el del modelo mejor clasificado. Google afirmó: "Gemini 4 Carbon está en la frontera de Pareto de calidad y precio para la evaluación MKA." (“Gemini 4 Carbon is on the pareto frontier of quality and price for the MKA eval.”)Google
Los usuarios ahora pueden explorar este benchmark a través de la API de Gemini en Google AI Studio y evaluar sus propios modelos en la plataforma de análisis artificial. Google también ha lanzado un conjunto de 10 tareas públicas para que cualquiera pueda revisar el formato y probar su agente.
Fuente: Anuncio oficial de Google