Google官方宣布推出多模态知识代理（Multimodal Knowledge Agent，简称MKA）基准，旨在评估代理在处理视觉复杂文件方面的推理能力，以解决现实世界的知识工作任务。
MKA基准的设计理念
MKA基准是与人工分析（Artificial Analysis）合作开发的，主要用于评估代理在解决知识工作任务时的表现。大多数知识工作基准仅需文本解决，却未能反映专业工作中的视觉需求。Google表示：“我们建立MKA是为了衡量代理如何处理这些视觉复杂的工作。”（“We built MKA to measure how well agents can handle this visually complex work.”）Google
基准的实际应用与测试
为了确保基准与现实工作流程相符，Google与来自10个行业及83个职业的领域专家合作，创建了MKA的200项任务评估集。每项任务都是一个多步骤的项目，专业人士需要三至八小时才能完成。Google指出：“每项任务都配有现实的提示和一组多模态输入文件，并附有专家撰写的约70项是/否检查的标准。”（“Each task reflects a multi-step project that takes a seasoned professional three to eight hours to complete…”）Google
Gemini 4 Carbon的性能表现
根据测试结果，Gemini 4 Carbon在所有测试模型中质量排名第二，且完成任务的成本平均比排名最高的模型低六倍。Google表示：“Gemini 4 Carbon在MKA评估中质量和价格的Pareto前沿上。”（“Gemini 4 Carbon is on the pareto frontier of quality and price for the MKA eval.”）Google
用户现在可以通过Google AI Studio的Gemini API探索该基准，并在人工分析平台上评估自己的模型。Google也释放了一组10项公共任务，供任何人检查格式并测试其代理。
资料来源：Google官方公告