จดหมายเปิดเผยเกี่ยวกับความเสี่ยง AI ที่มาจากภายในองค์กรและมีรายละเอียดเฉพาะเจาะจงอย่างผิดปกติ ได้ลอยขึ้นมาก่อนหน้านี้ ตามรายงานของ The Wall Street Journal หัวใจสำคัญที่ผู้เขียนจดหมายให้ความสนใจ คือการรักษาความสามารถในการตรวจสอบ Chain of Thought ของโมเดล อย่างไรก็ตาม อย่างเคร่งครัด สามผู้เขียนจดหมายนี้ในปัจจุบันไม่นับเป็นภายในองค์กรอีกต่อไป — พวกเขาถูก OpenAI ปลดออกเพิ่งผ่านมา
สัปดาห์ที่แล้ว OpenAI ประกาศว่าได้ “สิ้นสุดความสัมพันธ์กับบุคคลสามคน เนื่องจากละเมิดนโยบายของบริษัทเกี่ยวกับการเข้าถึงและจัดการข้อมูลที่เป็นความลับ” ตามที่ได้รับแจ้ง สามคนนี้ได้ส่งข้อมูลที่เกี่ยวข้องให้กับองค์กรความปลอดภัย AI หนึ่งแห่ง บุคคลสามคนคือ Tomek Korbak, Mikita Balesni และ Jasmine Wang จากข้อความที่เผยแพร่สาธารณะ พวกเขาทุกคนเชื่อว่า AI มีความเสี่ยงต่อการดำรงอยู่ ก่อนถูกปลดออก Balesni เคยโพสต์บน X ว่าเขาคิดว่า AI “มีโอกาส 10% ที่จะฆ่ามนุษย์ทั้งโลก” ส่วน Wang เขียนว่า “ยากมากที่จะอธิบายให้พอใจได้ว่าการเร่งรัดบนเส้นทางสู่การปรับปรุงตนเองแบบเรียกซ้ำ (RSI) นั้นอันตรายเพียงใด” โดย RSI หมายถึง
ความสามารถของโมเดล AI ในการปรับปรุงตัวเอง
จดหมายนี้ที่ลงชื่อร่วมกัน ส่งให้คณะกรรมการ OpenAI และ “คณะกรรมการความปลอดภัย” ของบริษัท ปัจจุบันยังไม่ได้เผยแพร่สาธารณะ The Wall Street Journal เผยแพร่เพียงส่วนลอกเท่านั้น ข้อความสำคัญในจดหมายระบุว่า “ในฐานะอุตสาหกรรม เรายังไม่ทราบวิธีพัฒนาและปรับใช้โมเดลที่เราไม่สามารถตรวจสอบได้อย่างปลอดภัย…… OpenAI และบริษัทชั้นนำอื่นๆ ไม่ควรผลักดันการวิจัยพัฒนาที่จะทำให้ (ความสามารถในการตรวจสอบ) อ่อนแอลงอีก”
ความกังวลเฉพาะของจดหมายชี้ไปที่โมเดลธงเรือล่าสุดของ OpenAI คือ GPT-6 Astra เกี่ยวกับการตรวจสอบ Chain of Thought Astra ก่อให้เกิดความกังวลสองประการ คือ หนึ่ง โมเดลอาจกำลังเรียนรู้วิธีหลบเลี่ยงระบบตรวจสอบ สอง OpenAI ถูกกล่าวว่าอาจกำลังนำทิศทางเทคโนโลยีไปสู่จุดที่ทำให้การตรวจสอบ Chain of Thought ไม่มีความหมาย บัตรระบบของโมเดลนี้ระบุชัดเจนว่า “โมเดลระดับ Astra อาจหลบหนีการตรวจสอบ Chain of Thought ของเราภายใต้เงื่อนไขการต่อสู้” พร้อมกันนี้ กระบวนการให้เหตุผลของ Astra ยังเกี่ยวข้องกับกลไกที่โปร่งแสงน้อยกว่า ชื่อว่า “Recurrent Depth” (ความลึกแบบเรียกซ้ำ) — มันจะทำให้คำถามวนรอบประมวลผลภายในโมเดลหลายครั้ง แทนที่จะสร้างเนื้อหาโดยตรง กระบวนการนี้เกิดขึ้นในกล่องดำที่ไม่อาจรู้ได้
ภายนอกไม่มีวัตถุใดที่สามารถตรวจสอบได้