Google Meluncurkan Model Kecerdasan Buatan Gemini 4 Carbon dengan Kemampuan Identifikasi Kerentanan Perangkat Lunak 88,2%

·oleh Henderson·Engineering
Google Meluncurkan Model Kecerdasan Buatan Gemini 4 Carbon dengan Kemampuan Identifikasi Kerentanan Perangkat Lunak 88,2%
Poin Penting
  • Google meluncurkan model Gemini 4 Carbon yang fokus pada identifikasi kerentanan perangkat lunak dan menghasilkan patch keamanan.
  • Carbon memperoleh skor kemampuan identifikasi 88,2% dalam pengujian SEC-bench Pro.
  • Model ini memiliki tingkat keberhasilan dalam menghasilkan kode keamanan lebih dari dua kali lipat dibandingkan Argon.
  • Google berencana untuk memperluas ketersediaan Carbon dan memperkenalkan langkah-langkah keamanan tambahan.

Google mengumumkan peluncuran model kecerdasan buatan baru, Gemini 4 Carbon, yang bertujuan untuk mengidentifikasi kerentanan perangkat lunak, menghasilkan patch keamanan, serta menangani tugas rekayasa kompleks yang biasanya memerlukan waktu beberapa hari untuk diselesaikan. Model ini memperoleh skor 88,2% di SEC-bench Pro, yang merupakan pengujian untuk menilai kemampuan sistem kecerdasan buatan dalam mengidentifikasi kerentanan perangkat lunak nyata. Selain itu, Carbon memperoleh skor 71% dalam CWE-bench untuk memperbaiki kerentanan keamanan, dan 54,8% di ExploitGym, yang menunjukkan kemampuannya dalam memverifikasi apakah kerentanan dapat dieksploitasi.

Google mencatat bahwa hasil ini membuat Carbon melampaui model pesaing di ketiga standar keamanan siber tersebut. Pengumuman ini terjadi hanya dua minggu setelah peluncuran Gemini 4 Argon, yang merupakan model unggulan Google sebelumnya. Carbon telah melakukan perbaikan dalam pengkodean, penalaran, keamanan siber, dan pelaksanaan tugas secara mandiri berdasarkan rilis tersebut.

Keunggulan Kinerja Model Carbon

Berbeda dengan asisten kecerdasan buatan tradisional, Carbon dirancang untuk menjalankan alur kerja yang kompleks yang melibatkan beberapa langkah, alat, dan keputusan. Google menyatakan bahwa tim internalnya telah mengamati model ini beroperasi selama beberapa hari pada masalah rekayasa yang kompleks, termasuk mengidentifikasi penyebab kesalahan perangkat lunak dan mengembangkan patch dalam repositori kode besar. Namun, laporan tentang operasi yang diperluas ini disediakan oleh Google dan belum diverifikasi secara independen.

Kemampuan keamanan siber Carbon mencakup tiga tahap utama: menemukan kerentanan, menentukan apakah kerentanan tersebut merupakan risiko nyata, dan mengembangkan solusi perbaikan. Di SEC-bench Pro, model ini mencetak skor 88,2%, sementara skor 54,8% di ExploitGym mencerminkan kemampuannya dalam memverifikasi kerentanan keamanan melalui pengujian eksploitasi yang terkendali. Hasil 71% di CWE-bench mengukur kinerjanya dalam menghasilkan patch yang dapat digunakan untuk mengatasi kelemahan perangkat lunak yang mendasarinya.

Google juga melaporkan bahwa Carbon memiliki tingkat keberhasilan dalam menghasilkan kode keamanan dalam pengujian internal lebih dari dua kali lipat dibandingkan Argon.

Tim Chrome menemukan bahwa Carbon menunjukkan kinerja dalam menghasilkan patch keamanan berkualitas tinggi yang lebih dari sepuluh kali lipat dibandingkan dengan model pesaing terdepan, meskipun Google tidak menyebutkan nama model pesaing tersebut. Selain keamanan siber, Carbon juga menduduki peringkat pertama dalam indeks kecerdasan analisis buatan versi 5.0 dengan skor 59. Skor WebDev Arena-nya juga meningkat 89 Elo poin, mencapai 1.768, dan menduduki peringkat keempat dalam papan peringkat. Google menyatakan bahwa perbaikan ini meluas ke tugas ilmiah, pemahaman multimodal, dan pengembangan web full-stack.

Langkah Keamanan dan Rencana Ketersediaan

Google juga memperkenalkan langkah-langkah keamanan tambahan yang bertujuan untuk mengurangi perilaku tidak dapat diandalkan yang muncul dalam alur kerja kecerdasan buatan jangka panjang. Dalam pengujian internal, pernyataan tidak didukung dari Carbon berkurang hampir setengahnya, dan peringatan ketidakcocokan tingkat tinggi berkurang hampir 80% dalam lingkungan pengkodean waktu nyata yang melibatkan tim Google dibandingkan dengan Argon. Perusahaan juga melaporkan bahwa dalam pengujian injeksi petunjuk tidak langsung Gray Swan, tingkat keberhasilan serangan Carbon adalah 0%, sementara Argon adalah 0,7%.

Hasil ini mencerminkan kinerja di bawah kondisi pengujian tertentu dan tidak membuktikan bahwa model tersebut kebal terhadap manipulasi.

Google awalnya membatasi Carbon hanya untuk sejumlah kecil pembela keamanan siber, sementara mitra terpercaya lainnya akan mendapatkan akses melalui program Fairwind. Perusahaan ini juga terlibat dalam proses pengujian model pra-rilis sukarela yang dilakukan oleh pemerintah Amerika Serikat. Meskipun Google belum mengumumkan tanggal rilis spesifik, mereka berencana untuk menyediakan ketersediaan yang lebih luas bagi pengembang, perusahaan, dan konsumen. Carbon akan memiliki harga awal yang sama dengan Argon, yaitu US$2 (sekitar HK$15) per satu juta input dan US$10 (sekitar HK$78) per satu juta output.

Input yang di-cache akan mendapatkan diskon 95%. Peluncuran bertahap ini mencerminkan karakteristik penggunaan ganda dari kecerdasan buatan keamanan siber yang canggih, yang dapat membantu pembela mengidentifikasi kelemahan, tetapi juga dapat memberikan kemampuan yang mungkin disalahgunakan.

ItemSpesifikasi
Skor SEC-bench Pro88,2%
Skor CWE-bench71%
Skor ExploitGym54,8%
Skor WebDev Arena1.768

Potensi Pasar dan Tantangan Model Carbon

Peluncuran model Gemini 4 Carbon dari Google di bidang keamanan siber menunjukkan kemampuannya yang kuat dalam mengidentifikasi kerentanan dan menghasilkan patch, yang sangat penting untuk meningkatkan keamanan perangkat lunak. Seiring dengan perkembangan teknologi kecerdasan buatan, kinerja tinggi Carbon mungkin menarik perhatian lebih banyak perusahaan dan pengembang. Namun, data kinerja model ini belum diverifikasi secara independen, yang dapat mempengaruhi penerimaan pasar. Selain itu, Google telah menerapkan langkah-langkah keamanan tambahan terkait risiko penyalahgunaan yang mungkin terjadi, mencerminkan perhatian terhadap penggunaan kecerdasan buatan yang bertanggung jawab.

H
Tentang penulis
Henderson