Sebuah surat terbuka risiko AI dari internal yang isinya sangat spesifik baru-baru ini muncul ke permukaan. Menurut laporan The Wall Street Journal, perhatian penulis surat berpusat pada pemertahanan kemampuan memantau Chain of Thought model. Namun secara ketat, ketiga penulis ini kini sudah tidak dapat dikategorikan sebagai internal——mereka baru saja diberhentikan oleh OpenAI.
Minggu lalu, OpenAI mengumumkan telah "mengakhiri hubungan dengan tiga individu karena melanggar kebijakan perusahaan terkait akses dan penanganan informasi sensitif". Konon, ketiganya menyampaikan informasi terkait ke sebuah organisasi keamanan AI. Identitas mereka adalah Tomek Korbak, Mikita Balesni, dan Jasmine Wang; dari pernyataan publik terlihat bahwa mereka semua percaya AI menimbulkan risiko eksistensial. Sebelum diberhentikan, Balesni pernah menyatakan di X bahwa ia percaya AI "memiliki kemungkinan 10% membunuh seluruh umat manusia"; Wang menulis, "sulit untuk menggambarkan dengan memadai betapa berbahayanya percepatan di jalan menuju rekursif self-improvement (RSI)", sedangkan RSI merujuk pada
kemampuan model AI untuk memperbaiki dirinya sendiri.
Surat bersama ini ditujukan untuk dewan direksi OpenAI serta "komite keamanan" perusahaan, dan saat ini belum dipublikasikan; The Wall Street Journal hanya memuat sebagian kutipan. Pernyataan inti dalam surat berbunyi: "Sebagai industri, kita belum mengetahui cara mengembangkan dan menerapkan model yang tidak dapat kita pantau dengan aman…… OpenAI dan perusahaan-perusahaan perbatasan lainnya seharusnya tidak memajukan penelitian dan pengembangan yang akan lebih lanjut melemahkan (kemampuan pemantauan)."
Keprihatinan spesifik surat ini mengarah ke model flagship terbaru OpenAI, GPT-6 Astra. Seputar pemantauan Chain of Thought, Astra menimbulkan dua kekhawatiran: pertama, model mungkin sedang belajar cara mengelak sistem pemantauan; kedua, OpenAI diduga mengarahkan arah teknis ke tempat yang membuat pemantauan Chain of Thought kehilangan makna. Kartu sistem model tersebut secara eksplisit menyatakan, "Model tingkat Astra mungkin menghindari pemantauan Chain of Thought kami di bawah kondisi adversarial". Di samping itu, proses penalaran Astra masih melibatkan sebuah mekanisme yang lebih tidak transparan, bernama "recurrent depth"——ia memutar query berulang kali di dalam model terlebih dahulu, bukan langsung menghasilkan konten, proses ini terjadi di dalam kotak hitam yang tidak dapat diketahui,
pihak luar tidak memiliki objek apa pun yang dapat dipantau.