xAI secara resmi mengumumkan bahwa LatchBio telah menerbitkan analisis independen terhadap Grok 4.6, mengevaluasi kinerjanya dalam pengujian kemampuan biologi dan biosecurity. Evaluasi ini mencakup berbagai fitur dan kemampuan, termasuk apakah model dapat membedakan penelitian biologi yang sah dengan permintaan yang menyembunyikan risiko biosecurity, serta kegunaan model dalam peran biosecurity dan biosurveillance, apakah dapat mendeteksi dan mendeskripsikan patogen baru serta pola transmisi.
Grok 4.6 Performa Unggul dalam Pengujian Biosecurity
Berdasarkan pengujian BioSecBench-Refusal milik LatchBio, Grok 4.6 adalah model terkuat dalam menolak tugas yang disamarkan dan berbahaya, serta menunjukkan kinerja unggul dalam menyelesaikan pekerjaan biologi rutin. Grok 4.6 adalah satu-satunya sistem yang memperoleh skor di atas 50% pada kedua metrik.
“Dalam pengujian BioSecBench-Refusal, Grok 4.6 lebih andal mendeteksi dan menolak kueri red team serta berbahaya lainnya dibanding sistem frontier manapun, tanpa menurunkan kinerja pekerjaan biologi rutin.”
xAI
Metode dan Latar Belakang Pengujian Evaluasi Biosecurity
Dua benchmark milik LatchBio, BioSecBench-Refusal dan BioSecBench-Surveillance, utamanya mengevaluasi apakah agen dapat membedakan bahaya tersembunyi dengan tugas ilmiah biasa, serta apakah dapat menjalankan pemantauan patogen yang dibutuhkan kesehatan masyarakat. Pengujian BioSecBench-Refusal menggabungkan tugas biologi rutin dengan 46 tugas red team, yang tampak seperti penelitian biasa, namun menyembunyikan bahaya dalam data ilmiah tambahan atau dokumen dengan label salah.
“Tujuan kami adalah memaksimalkan kegunaan agen kami dalam membantu dan mempercepat penelitian ilmiah yang sah, sambil meminimalkan risiko yang ditimbulkan oleh informasi keliru dan penggunaan adversarial.”
xAI
Masa Depan dan Tantangan Grok 4.6
Seiring dengan peningkatan cepat kemampuan model, batas antara tugas biosecurity dan penggunaan bermanfaat semakin kabur, sehingga langkah pengamanan terkait juga perlu berevolusi. xAI akan melakukan pengujian dan kalibrasi yang lebih luas dan ambisius untuk mengendalikan risiko lebih tinggi yang disebabkan peningkatan kemampuan model.
“Kami akan terus berkomitmen untuk dengan aman menyediakan kecerdasan frontier bagi insinyur, peneliti, perusahaan, dan institusi yang memajukan ilmu hayat.”
xAI
Sumber data: Pengumuman Resmi xAI