Google secara resmi mengumumkan peluncuran Multimodal Knowledge Agent (MKA) benchmark, yang bertujuan untuk mengevaluasi kemampuan agen dalam menangani dokumen visual yang kompleks, guna menyelesaikan tugas-tugas pekerjaan pengetahuan di dunia nyata.
Desain Konsep MKA Benchmark
MKA benchmark dikembangkan bekerja sama dengan Artificial Analysis, dan terutama digunakan untuk mengevaluasi kinerja agen dalam menyelesaikan tugas pekerjaan pengetahuan. Sebagian besar benchmark pekerjaan pengetahuan hanya memerlukan penyelesaian teks, namun tidak mencerminkan kebutuhan visual dalam pekerjaan profesional. Google menyatakan: "Kami membangun MKA untuk mengukur seberapa baik agen dapat menangani pekerjaan yang secara visual kompleks." (Google)
Aplikasi dan Pengujian Benchmark
Untuk memastikan benchmark sesuai dengan alur kerja nyata, Google bekerja sama dengan para ahli dari 10 industri dan 83 profesi untuk menciptakan 200 tugas evaluasi MKA. Setiap tugas merupakan proyek multi-langkah yang memerlukan waktu tiga hingga delapan jam untuk diselesaikan oleh para profesional. Google mencatat: "Setiap tugas dilengkapi dengan petunjuk yang realistis dan satu set dokumen input multimodal, serta dilengkapi dengan sekitar 70 standar ya/tidak yang ditulis oleh para ahli." (Google)
Kinerja Gemini 4 Carbon
Menurut hasil pengujian, Gemini 4 Carbon menduduki peringkat kedua dalam kualitas di antara semua model yang diuji, dan biaya penyelesaian tugasnya rata-rata enam kali lebih rendah dibandingkan model dengan peringkat tertinggi. Google menyatakan: "Gemini 4 Carbon berada di perbatasan pareto kualitas dan harga untuk evaluasi MKA." (Google)
Pengguna kini dapat menjelajahi benchmark ini melalui Gemini API di Google AI Studio, dan mengevaluasi model mereka sendiri di platform analisis buatan. Google juga merilis satu set 10 tugas publik, yang dapat diperiksa formatnya dan digunakan untuk menguji agen mereka.
Sumber data: Pengumuman Resmi Google