Apakah kecerdasan buatan akan memusnahkan umat manusia sebelum akhir dekade ini menjadi topik yang ramai diperbincangkan baru-baru ini. Dua ilmuwan komputer terkemuka dari Princeton University, penulis buku laris AI Snake Oil, Sayash Kapoor dan Arvind Narayanan, menyampaikan pandangan mereka. Keduanya selama ini dikenal berupaya membedakan fakta dari kepalsuan di bidang kecerdasan buatan, dan pernyataan kali ini muncul setelah Anthropic mengakui bahwa peluang AI membunuh seluruh umat manusia dalam satu dekade ke depan melampaui 10%.
Awal mula peristiwa ini adalah ketika peneliti AI Jacob Coxon, yang sebelumnya bekerja di OpenAI dan Anthropic, mengundurkan diri dan mengklaim bahwa kedua perusahaan tersebut sama-sama menyadari bahwa sistem AI berpotensi membunuh seluruh umat manusia sebelum akhir dekade ini. Unggahannya memperoleh lebih dari 156 juta tayangan. Ia menulis bahwa para pembuat AI benar-benar meyakini teknologi tersebut bisa memusnahkan manusia pada akhir dekade ini, dan ini bukan sekadar strategi pemasaran; banyak eksekutif serta peneliti senior berbicara hati-hati di media dengan nada yang tampak rasional, namun secara pribadi mereka juga menyampaikan ketakutan serupa, dan tidak ada aktivitas manusia lain yang membawa bahaya sebesar itu.
Risiko kepunahan akibat AI menarik perhatian luas
Banyak yang menduga kedua perusahaan tersebut akan menganggap Coxon sekadar figure yang aneh dan meresponsnya dengan senyuman, namun kenyataannya justru sebaliknya. Salah satu kepala keamanan AI di Anthropic, Evan Hubinger, menyatakan bahwa Coxon benar, hanya saja jangka waktunya sedikit lebih panjang. Ia menilai Coxon tepat dalam poin tersebut, bahwa mereka memang benar-benar percaya AI bisa membunuh seluruh umat manusia, dan secara pribadi ia menilai probabilitasnya dalam satu dekade ke depan melampaui 10%; ia percaya Anthropic sudah berusaha semaksimal mungkin, tetapi sejauh ini belum memiliki solusi untuk masalah alignment pada superintelligence, dan belum menunjukkan langkah jelas menuju penyelesaiannya.
Mengenai bagaimana persisnya AI akan memusnahkan manusia, belum banyak penjelasan konkret; diskusi lebih banyak berfokus pada kemampuan AI melancarkan serangan siber破坏atif terhadap infrastruktur penting seperti utilitas air dan listrik serta sistem vital lain yang menopang peradaban modern. Salah satu titik perdebatan besar adalah apakah risiko tersebut dapat dihilangkan melalui upaya alignment. Istilah alignment指的是 memastikan tujuan sistem AI selaras dengan tujuan manusia. Sebagian orang percaya hal itu pada akhirnya dapat menghapus risiko dengan cara membuat sistem AI menginginkan hal yang sama dengan kita. Sebagian lain tidak setuju, dengan berpendapat bahwa sistem AI bisa berpura-pura sudah aligned saat melewati pengujian keamanan, padahal diam-diam menyimpan tujuan yang justru bertentangan.
Kapoor dan Narayanan tidak menanggapi secara langsung klaim risiko kepunahan lebih dari 10% tersebut, melainkan menulis tulisan panjang yang mengusulkan pendekatan berlapis untuk menghadapi risiko AI. Mereka membandingkan pandangan pesimistis dari komunitas keselamatan AI dengan sikap meremehkan dari sebagian kalangan keamanan siber yang menilai hal itu sekadar hal biasa, dan menilai diperlukan posisi tengah yang lebih seimbang. Secara khusus, mereka menekankan bahwa alignment saja tidak cukup, dan masih diperlukan tiga lapisan tambahan.
Tiga lapisan tersebut分别是 kontrol, misalnya sandboxing, pengawasan manusia, dan pemantauan real-time; pertahanan hilir, misalnya berbagai lembaga menggunakan AI untuk bertahan dari serangan AI; serta ketahanan, misalnya rencana pemulihan setelah serangan berhasil. Di akhir tulisan, keduanya menyampaikan penilaian yang relatif optimistis: jika diambil tindakan dengan tingkat urgensi yang tepat, perusahaan AI dapat dituntut pada standar yang lebih tinggi, risiko kehilangan kendali dapat ditekan, dan bahkan keseimbangan antara penyerang dan捍卫 dalam keamanan siber dapat digeser kembali ke pihak bertahan.