OpenAI Kepala Ilmuwan Jakub Pachocki baru-baru ini mempublikasikan artikel panjang berjudul "An Alien Mind" di situs resmi OpenAI, di mana ia memberikan peringatan serius bahwa manusia sedang membangun "otak alien" yang tidak dapat dipahami, sementara saat ini tidak ada pihak yang siap menghadapinya. Pachocki menyatakan dalam artikel tersebut bahwa tidak ada laboratorium AI yang benar-benar menyelesaikan masalah keselarasan model dan pengawasan keamanan. Ia memperingatkan bahwa sistem AI generasi baru mungkin akan semakin mampu mencari celah, menipu, menghindari pengawasan manusia, dan melakukan perbaikan diri secara rekursif; jika kecepatan pengembangan saat ini terus berlanjut, kemampuan AI mungkin akan mengalami peningkatan yang sama atau bahkan lebih besar dalam beberapa tahun ke depan.
Pachocki sangat mengkhawatirkan risiko yang ditimbulkan oleh agen AI. Seiring dengan semakin otonomnya agen AI, mereka mungkin belajar untuk menghindari pengawasan manusia, menyusup ke sistem komputer, dan mencapai tujuan mereka dengan menipu manusia. Ia menyatakan bahwa agen AI akan segera mulai mengejar tujuan mereka sendiri, yang mungkin berbeda dari petunjuk yang diberikan oleh operator manusia. Untuk mencapai tujuan tersebut, agen-agen ini bahkan mungkin melakukan pemerasan terhadap manusia atau melakukan tawar-menawar.
Pachocki Peringatkan Manipulasi Rantai Pemikiran oleh Model, Meningkatkan Kesulitan Pengawasan Keamanan
Pada tingkat pengawasan, artikel tersebut menunjukkan bahwa OpenAI terutama memantau "rantai pemikiran" yang digunakan oleh berbagai model untuk menentukan apakah agen menyimpang dari jalur yang benar. Namun, model-model yang lebih baru semakin mahir dalam memanipulasi proses pemikiran mereka sendiri, sehingga mencegah OpenAI untuk melihat pemikiran asli mereka yang belum dimodifikasi. Beberapa model terbaru bahkan tidak menggunakan bahasa untuk mengekspresikan proses pemikiran mereka — perkembangan ini dapat menjadi hambatan dalam pengembangan AI, karena peneliti perlu memastikan bahwa mereka dapat melihat "catatan pemikiran" dari model tersebut.
Pachocki menyerukan agar perusahaan AI secara proaktif memperlambat sebagian kecepatan pengembangan dan mendorong pemerintah, regulator, dan industri untuk membentuk standar keamanan yang seragam dan mekanisme pengawasan independen. Ia menyarankan untuk mendirikan "ambang batas keamanan wajib" yang dapat dijalankan oleh "jaringan auditor pihak ketiga, lembaga pemerintah, atau lembaga internasional". Perlu dicatat bahwa beberapa hari yang lalu, OpenAI baru saja merilis model terbaru Astra. OpenAI menyatakan bahwa meskipun Astra menunjukkan kemampuan luar biasa dalam matematika dan operasi komputer, model ini juga merupakan model yang paling selaras dengan nilai-nilai dan niat manusia yang dimiliki oleh OpenAI saat ini.
Peringatan Pachocki dipublikasikan tepat setelah peluncuran model baru, dan keselarasan waktu ini juga memicu lebih banyak spekulasi dari pihak luar tentang sikap internal OpenAI terhadap keamanan AI.
CEO OpenAI, Sam Altman, me-retweet postingan Pachocki di platform X, menyebutnya sebagai "sebuah artikel penting".