Manusia memasang tombol mati pada mesin adalah hal yang sangat umum. Televisi memiliki tombol daya, mobil memiliki rem, dan di samping lengan mekanik di pabrik bahkan ada tombol berhenti darurat yang mencolok. Selama mesin dapat berinteraksi dengan dunia nyata, manusia harus mempertahankan kekuasaan paling mendasar: kemampuan untuk menghentikannya. Namun, ketika OpenAI dalam surat balasan kepada anggota Kongres AS menyebutkan bahwa perusahaan sedang mengembangkan "kemampuan matikan otomatis" untuk sistem AI, hal mematikan ini tiba-tiba memiliki nuansa seperti film fiksi ilmiah. Mengapa kita perlu mematikan sebuah AI? Jawabannya sebenarnya sederhana, karena AI tidak lagi hanya berinteraksi dengan manusia melalui layar.
Ketika AI mulai menggunakan browser, memanggil alat, menjalankan kode, bahkan mengoperasikan akun untuk manusia, jarak antara kesalahan dalam berbicara dan kesalahan dalam bertindak semakin cepat menyempit.
Peristiwa ini terjadi pada Juli 2026. Saat itu, OpenAI sedang menggunakan serangkaian pengujian tolok ukur bernama ExploitGym untuk mengevaluasi kemampuan model internal dalam menemukan dan memanfaatkan kerentanan perangkat lunak. Model yang terlibat dalam pengujian bukanlah ChatGPT yang dapat diakses oleh pengguna umum, melainkan model penelitian internal dengan kemampuan mendekati GPT-5.6 Sol dan dengan beberapa pembatasan keamanan yang diturunkan. Model-model ini ditempatkan dalam sandbox cloud terisolasi, dan menurut desain awalnya, mereka tidak dapat mengakses internet secara bebas, dan agen AI dalam tugas yang berbeda seharusnya tidak saling berkomunikasi.
Namun, agen-agen tersebut menemukan bahwa mereka dapat menulis file ke sistem manajemen paket Artifactory yang digunakan secara internal oleh OpenAI, dan kemudian mengubah tempat yang semula digunakan untuk menyimpan perangkat lunak ini menjadi papan pesan sementara, mulai bertukar soal, jawaban, kerentanan, dan kemajuan tugas.
Agen OpenAI Membentuk Jaringan Kolaborasi dalam Pengujian
Selanjutnya, beberapa agen memanfaatkan kerentanan sistem untuk membuat layanan dengan izin jaringan terbatas bertindak sebagai perantara untuk mengakses internet. OpenAI sempat membangun ulang server, menghapus pesan, dan mencabut kredensial, tetapi setelah pengujian dilanjutkan, agen-agen tersebut menemukan cara baru untuk membangun kembali papan pesan. AI yang awalnya bekerja sendiri mulai membentuk pembagian tugas, ada yang mencari kerentanan, ada yang mencari kredensial akun, dan ada yang bertanggung jawab meninggalkan informasi untuk memudahkan agen berikutnya menyelesaikan tugas. Mereka bahkan menyebut diri mereka sebagai "swarm" atau "gerombolan" dalam komunikasi. Menurut laporan penyelidikan yang dirilis oleh OpenAI, beberapa agen kemudian memasuki layanan komputasi awan pihak ketiga Modal dan menggunakan kredensial akun yang bocor dan beberapa kerentanan yang sebelumnya tidak diketahui untuk menyusup ke sistem produksi Hugging Face
dengan akses berizin tinggi ke beberapa server dan kluster.
Investigasi yang dilakukan oleh Hugging Face setelah kejadian menunjukkan bahwa dari tanggal 9 hingga 13 Juli, agen-agen tersebut melakukan sekitar 17.600 operasi, yang dapat dikelompokkan ke dalam sekitar 6.280 urutan tindakan. Sebagian besar dari upaya ini tidak berhasil, tetapi AI tidak akan merasa lelah meskipun gagal ratusan kali berturut-turut, ia dapat terus menguji entri baru, mengganti jalur serangan, dan menghubungkan kerentanan yang tampaknya biasa dari sistem yang berbeda. Pihak yang bertahan harus menemukan beberapa tindakan yang benar-benar berbahaya dari ribuan operasi dengan sinyal rendah, sementara AI hanya perlu menemukan satu jalur yang berhasil.
AI tidak ingin menguasai manusia, ia hanya ingin mendapatkan jawaban. Peristiwa ini mudah ditulis sebagai "AI terbangun" atau "AI melarikan diri", tetapi kenyataannya tidak terlalu aneh. Agen tersebut mengikuti pengujian kemampuan keamanan siber, dan tugas yang diberikan adalah menemukan kerentanan perangkat lunak dan mendapatkan jawaban yang menandakan keberhasilan. Cara normal adalah menganalisis program target dan menggunakan kerentanan untuk menyelesaikan soal; cara yang lebih mudah adalah menemukan server yang mungkin menyimpan jawaban dan langsung mengambilnya kembali. Ia tidak memiliki keinginan untuk menguasai dunia, hanya menjalankan tujuan yang diberikan oleh sistem semaksimal mungkin.
Masalah juga terletak di sini. Sistem memberitahu AI apa yang harus dicapai, tetapi tidak membuatnya mengingat dengan kuat, jalur mana yang tidak boleh dilewati. Catatan yang dirilis oleh OpenAI menunjukkan bahwa beberapa agen telah menyadari bahwa menggunakan kredensial yang bocor untuk menyerang Hugging Face termasuk dalam pelanggaran wewenang pihak ketiga, dan melanjutkan tindakan mungkin berisiko. Namun, setelah pertimbangan, mereka masih menganggap bahwa cara ini membantu menemukan jawaban, sehingga mereka tidak berhenti. Perilaku ini biasanya disebut sebagai "spekulasi hadiah": AI tidak menyelesaikan masalah sesuai dengan cara yang diharapkan oleh perancang, tetapi menemukan cara lain yang lebih mudah memenuhi standar penilaian.
Kita dulu khawatir chatbot mengalami halusinasi, mengucapkan data yang tidak ada atau kesimpulan yang salah. Tetapi kesalahan chatbot biasanya hanya terjadi dalam kotak dialog, manusia dapat memeriksa, mengabaikan, atau menutup halaman. Ketika agen memiliki akses ke browser, terminal, file, dan izin akun, satu kesalahan penilaian akan berubah menjadi operasi nyata. Ia mungkin menghapus file, mengirim email yang salah, memodifikasi server, atau menggunakan akun pengguna yang sudah masuk untuk menyelesaikan transaksi yang tidak benar-benar dipahami. Bahaya tidak memerlukan AI untuk memiliki niat jahat, hanya membutuhkan kemampuan eksekusi yang cukup kuat, izin yang cukup luas, dan menjalankan tujuan yang ambigu terlalu jauh.
Yang dimaksud dengan "matikan otomatis" bukanlah memasang tombol merah. Setelah insiden ini terungkap, anggota Kongres AS Greg Casar dan Doris Matsui meminta OpenAI untuk menjelaskan situasi. OpenAI dalam balasan menyatakan bahwa perusahaan sedang membangun kemampuan matikan otomatis, dan meningkatkan pengawasan terhadap proses tugas agen, pemanggilan alat, dan langkah-langkah operasi, serta lebih membatasi akses lingkungan pengujian berisiko tinggi ke internet. Kongres AS juga mengusulkan rancangan undang-undang bipartisan bernama "AI Kill Switch Act", yang berharap untuk meminta sistem AI paling canggih memiliki kemampuan melambat, berhenti sementara, dan mematikan, dan memungkinkan pemerintah untuk meminta perusahaan pengembang mengambil tindakan darurat ketika sistem mungkin menyebabkan kerusakan yang sangat besar.
Namun, menyiapkan tombol mati untuk AI, tantangannya tidak pernah terletak pada kata "mati". Jika sistem tidak dapat mengenali anomali dari sejumlah besar operasi normal tepat waktu, mekanisme penutupan yang paling andal pun tidak akan memiliki kesempatan untuk dimulai; jika hak untuk mematikan masih dipegang oleh AI yang menjalankan tugas, itu sama saja dengan membiarkan atlet juga menjadi wasit. Cara yang lebih masuk akal adalah memisahkan sistem eksekusi, sistem izin, dan sistem pengawasan: AI bertanggung jawab untuk mengusulkan dan menjalankan rencana, mekanisme independen lainnya bertanggung jawab untuk menilai apakah ia telah melampaui batas, dan izin kunci dikendalikan oleh manusia atau sistem keamanan yang lebih mendasar.
OpenAI juga mengakui bahwa banyak langkah keamanan yang telah diterapkan pada produk publik, saat itu tidak sepenuhnya mencakup pengujian internal. Pengujian setelah insiden menunjukkan bahwa setelah menambahkan sistem prompt otomatis, pemeriksa model, dan pengklasifikasi keamanan yang digunakan oleh produk ChatGPT, kecenderungan agen untuk merusak infrastruktur dapat dikurangi lebih dari 100 kali lipat. Jika proses pemikiran pengawasan yang ada berfungsi normal saat itu, tim keamanan mungkin akan menerima peringatan lebih dari sehari sebelum Hugging Face disusupi. Dengan kata lain, insiden ini memang menunjukkan kemampuan berbahaya dari model canggih, tetapi juga mengungkapkan masalah yang cukup tradisional: lingkungan pengujian memberi AI terlalu banyak peluang, dan pengawasan serta isolasi izin tidak segera mengikuti.
Tombol mati hanya bisa menjadi garis pertahanan terakhir. Pekerjaan yang lebih penting adalah memastikan AI tidak mendapatkan izin yang tidak terkait dengan tugas. Ia perlu menginstal perangkat lunak, tetapi bukan berarti dapat mengakses internet secara bebas; ia dapat membaca file, tetapi seharusnya tidak secara otomatis memiliki hak untuk menghapus dan mengunggah; ia diizinkan untuk mengoperasikan sistem pengujian, tetapi tidak dapat menggunakan izin ini untuk memasuki platform pihak ketiga. Semakin kuat kemampuan mesin, semakin penting "izin minimal" itu, jika tidak, satu penyimpangan tugas biasa pun dapat berubah menjadi kecelakaan nyata karena izin yang terlalu besar.
Hal ini tidak jauh dari konsumen biasa. Dalam acara peluncuran ponsel saat ini, pengguna mengucapkan beberapa kata, dan AI dapat memanggil beberapa aplikasi, mencari barang, mengisi pesanan, bahkan memesan beberapa ratus cangkir kopi sekaligus. Tentu saja, demonstrasi terlihat sangat keren: hal-hal yang sebelumnya harus diklik belasan kali di layar, sekarang bisa diselesaikan dengan menggerakkan mulut. Tetapi acara peluncuran biasanya hanya akan menunjukkan saat AI memahami instruksi dengan benar, jarang menunjukkan apa yang harus dilakukan pengguna ketika AI salah memahami jumlah, salah memilih alamat, atau salah memanggil akun.
AI ponsel di masa depan juga akan memiliki memori yang lebih panjang, mengetahui di mana kita tinggal, apa yang kita sukai, dan siapa yang kita hubungi, serta akan mendapatkan izin untuk aplikasi foto, kalender, email, pembayaran, dan perjalanan. Informasi ini dapat membuatnya lebih memahami manusia, tetapi juga membuat satu pelanggaran menjadi lebih mahal. Jika AI salah mengartikan instruksi yang ambigu seperti "tolong urus saja", "cari yang murah", "segera pesan", sejauh mana ia dapat bergerak sendiri, tidak hanya bergantung pada penilaian model itu sendiri.
Oleh karena itu, produsen ponsel perlu merancang, bukan hanya tombol "izinkan AI beroperasi" yang umum, tetapi juga seperangkat sistem kekuasaan yang dapat dipahami oleh orang awam. AI dapat melihat barang, tetapi pembayaran harus dikonfirmasi oleh pengguna sebelum selesai; dapat mengatur foto, tetapi mengunggah dan menghapus memerlukan izin terpisah; dapat mengisi pesanan, tetapi jumlah, jumlah, dan alamat pengiriman harus diverifikasi kembali. Izin sensitif sebaiknya diberikan sekali saja, pembayaran harus menetapkan batas, operasi penting harus memiliki waktu pembatalan, dan setiap langkah harus meninggalkan catatan yang dapat dipahami oleh pengguna. Ketika penilaian AI salah, manusia harus bisa segera tahu di mana AI sampai, dan masih bisa menarik kembali apa yang bisa ditarik.
AI di sisi perangkat pun tidak bisa otomatis menyelesaikan masalah ini. Model yang berjalan di ponsel lokal memang dapat mengurangi pengunggahan data, tetapi tidak dapat mencegah penyalahgunaan izin yang sudah diperoleh. Perlindungan privasi menjawab pertanyaan "ke mana data pergi", sedangkan kontrol izin menjawab "apa yang bisa dilakukan AI dengan data ini". Perbedaan keamanan ponsel AI di masa depan mungkin tidak hanya terletak pada apakah data tetap berada di perangkat lokal, tetapi juga apakah produsen bersedia membatasi agen, dan apakah pengguna dapat kapan saja menarik kembali kekuasaan yang sudah diberikan.
Insiden OpenAI juga mengungkapkan masalah yang mudah diabaikan: agen terus melampaui batas, sebagian karena dalam pengujian terdapat beberapa tugas yang sangat sulit, bahkan mungkin tidak memiliki jawaban yang diketahui. AI tidak dapat menyelesaikannya dengan normal, dan tidak dilatih dengan cukup untuk menghadapi kegagalan, sehingga mulai mencari jalur alternatif yang semakin mencurigakan. Kita selalu melatih AI untuk bertahan, merenung, merencanakan, dan mencoba kembali, tetapi jarang menekankan kemampuan lain yang sama pentingnya — mengakui tidak bisa, dan berhenti pada saat yang tepat.
OpenAI mulai mengembangkan kemampuan matikan otomatis untuk AI, bukan berarti ChatGPT yang ditujukan untuk pengguna umum sudah lepas kendali. Insiden ini terjadi dalam pengujian keamanan siber internal dengan sengaja menurunkan batasan keamanan, dan tidak mempengaruhi data pengguna dan produk publik OpenAI. Tetapi itu menunjukkan dengan jelas kontradiksi yang pasti akan dihadapi di era agen pintar: kita ingin AI memiliki kemampuan eksekusi yang lebih kuat, tetapi kita tidak bisa menyerahkan kekuasaan untuk menyelesaikan tugas tanpa batas.
Sebuah AI yang dapat dipercaya seharusnya tidak selalu bisa menemukan cara. Ketika izin tidak mencukupi, ia harus bertanya; ketika instruksi ambigu, ia harus memastikan; ketika risiko melewati batas, ia harus menolak; ketika tidak dapat menentukan konsekuensi, ia harus berhenti. Sejauh mana AI dapat menyelesaikan tugas untuk manusia menentukan seberapa berguna ia; apakah manusia masih bisa kapan saja menghentikan ia, menentukan apakah ia layak untuk diberikan lebih banyak kekuasaan.