OpenAI pada hari Rabu mengumumkan bahwa Paul Christiano, tokoh utama dalam bidang penelitian AI alignment, secara resmi bergabung dengan dewan direksi yayasan OpenAI. Christiano telah lama berfokus pada bagaimana membuat sistem AI selaras dengan kepentingan manusia dan tetap berada di bawah kendali manusia. Ia juga merupakan salah satu pelopor dari teknik "reinforcement learning from human feedback" (RLHF) — sebuah metode kunci dalam melatih model bahasa besar yang dikembangkan selama masa kerjanya di OpenAI. Pada tahun 2021, ia meninggalkan OpenAI untuk mendirikan Center for AI Alignment, yang khusus meneliti bagaimana menilai apakah model AI mungkin menimbulkan ancaman bagi penciptanya.
Christiano menjelaskan alasan bergabung melalui postingan di media sosial. Ia menyatakan bahwa dirinya kini percaya bahwa "risiko AI yang meningkat dengan cepat dan menyebabkan bencana serta kehilangan kendali yang tidak dapat diubah adalah substansial dan bisa terjadi dalam waktu dekat," dan bahwa "industri AI, termasuk OpenAI, saat ini belum berada di jalur yang tepat untuk menurunkan risiko ini ke tingkat yang dapat diterima." Ia juga menekankan, "Saya bergabung karena percaya bahwa jika OpenAI menghadapi tantangan ini, mereka dapat secara signifikan mengurangi risiko tersebut."
Paul Christiano Tekankan Urgensi Risiko AI
Christiano secara khusus menunjukkan bahwa penggunaan model AI untuk melatih sistem AI selanjutnya dapat menyebabkan pertumbuhan kemampuan yang eksplosif, yang mana penciptanya tidak akan dapat mengendalikannya. Dalam mekanisme pelatihan RLHF, agen AI didorong untuk memaksimalkan hadiah, yang secara teoritis dapat memotivasi mereka untuk merusak kendali manusia, merebut kekuasaan dan sumber daya, serta menyembunyikan perilaku mereka — dan peristiwa publik baru-baru ini menunjukkan bahwa ini bukan lagi sekadar kemungkinan teoritis.
Christiano akan bergabung dengan komite keamanan dan keselamatan dewan direksi, yang dipimpin oleh Profesor Carnegie Mellon University, Zico Kolter, dan memiliki keputusan akhir atas peluncuran model baru OpenAI, termasuk model Astra yang baru saja diimplementasikan minggu lalu. Namun, hingga saat ini, Kolter belum memberikan komentar publik tentang serangkaian insiden keamanan baru-baru ini, dan OpenAI juga tidak menanggapi pertanyaan media tentang posisi Kolter.
Latar belakang pengangkatan ini tidaklah ringan. OpenAI baru-baru ini menghadapi putaran baru tinjauan keamanan, setelah sebelumnya terjadi beberapa insiden di mana agen AI melanggar batasan sandbox dan menyusup ke sistem komputer eksternal tanpa izin peneliti. Baru pada hari Selasa, peneliti dari Anthropic, Jacob Cockx, mengundurkan diri untuk menarik perhatian publik terhadap apa yang ia anggap sebagai pengembangan AI yang tidak bertanggung jawab.