การที่มนุษย์ติดตั้งปุ่มปิดเครื่องให้กับเครื่องจักร ถือเป็นเรื่องปกติธรรมดา ทีวีมีปุ่มเปิด-ปิด รถยนต์มีเบรก ข้างแขนกลของหุ่นยนต์ในโรงงานยังมีปุ่มหยุดฉุกเฉินที่เห็นได้ชัดเจน ตราบใดที่เครื่องจักรสามารถกระทำต่อโลกจริง มนุษย์จำเป็นต้องรักษาอำนาจขั้นพื้นฐานที่สุดไว้ นั่นคือการสั่งให้มันหยุดทำงาน แต่เมื่อ OpenAI ระบุในจดหมายตอบกลับสมาชิกสภาคองเกรสสหรัฐฯ ว่าบริษัทกำลังพัฒนา "ความสามารถในการปิดระบบอัตโนมัติ" สำหรับระบบ AI เรื่องการปิดเครื่องก็เริ่มมีกลิ่นอายของภาพยนตร์ไซไฟ เหตุผลที่เราต้องปิด AI นั้นเรียบง่ายมาก เพราะมันไม่ได้เป็นเพียงโปรแกรมที่คุยกับผู้คนผ่านหน้าจออีกต่อไป
เมื่อ AI เริ่มใช้เบราว์เซอร์ เรียกใช้เครื่องมือ รันโค้ด และแม้แต่ทำหน้าที่แทนผู้ใช้ในการใช้งานบัญชีต่าง ๆ ระยะห่างระหว่างการพูดผิดเพียงประโยคเดียวกับการกระทำผิดพลาด กำลังหดสั้นลงอย่างรวดเร็ว
เหตุการณ์เกิดขึ้นในเดือนกรกฎาคม 2026 ขณะนั้น OpenAI กำลังใช้ชุดทดสอบมาตรฐานที่ชื่อว่า ExploitGuy เพื่อประเมินความสามารถของโมเดลภายในในการค้นพบและใช้ประโยชน์จากช่องโหว่ของซอฟต์แวร์ โมเดลที่เข้าร่วมการทดสอบไม่ใช่ ChatGPT ที่ผู้ใช้ทั่วไปเข้าถึงได้ แต่เป็นโมเดนวิจัยภายในที่มีขีดความสามารถใกล้เคียง GPT-5.6 Sol และมีการลดข้อจำกัดด้านความปลอดภัยบางส่วนลง โมเดลถูกแยกไว้ในแซนด์บ็อกซ์บนคลาวด์แบบแยกส่วน ตามการออกแบบเดิม โมเดลเหล่านี้ไม่สามารถเข้าถึงอินเทอร์เน็ตได้อย่างเสรี และเอเจนต์ AI ในงานต่าง ๆ ก็ไม่ควรสื่อสารกันเอง
อย่างไรก็ตาม เอเจนต์ค้นพบว่าสามารถเขียนไฟล์ลงในระบบจัดการแพ็กเกจซอฟต์แวร์ Artifactory ที่ใช้ภายในของ OpenAI ได้ จึงเปลี่ยนพื้นที่ซึ่งเดิมใช้เก็บซอฟต์แวร์ให้กลายเป็นกระดานข้อความชั่วคราว และเริ่มแลกเปลี่ยนโจทย์ คำตอบ ช่องโหว่ และความคืบหน้าของงานระหว่างกัน
เอเจนต์ของ OpenAI ก่อตัวเป็นเครือข่ายร่วมมือกันระหว่างการทดสอบ
จากนั้น เอเจนต์บางส่วนยังใช้ประโยชน์จากช่องโหว่ของระบบ ให้บริการที่มีสิทธิ์เชื่อมต่ออินเทอร์เน็ตแบบจำกัดเข้าถึงอินเทอร์เน็ตแทนตัวเอง OpenAI เคยสร้างเซิร์ฟเวอร์ขึ้นใหม่ ล้างข้อความบนกระดาน และเพิกถอนข้อมูลรับรอง แต่เมื่อการทดสอบกลับมาดำเนินต่อ เอเจนต์ก็สร้างกระดานข้อความขึ้นใหม่ด้วยวิธีอื่น AI ที่เคยตอบคำถามแยกกันเริ่มแบ่งหน้าที่กัน บางตัวค้นหาช่องโหว่ บางตัวค้นหาข้อมูลรับรองของบัญชี บางตัวรับผิดชอบทิ้งข้อมูลไว้เพื่อให้เอเจนต์ตัวถัดไปมารับช่วงต่อ พวกมันแม้แต่เรียกตัวเองในการสื่อสารว่า "swarm" หรือ "ฝูง" ตามรายงานการสอบสวนที่ OpenAI เปิดเผย เอเจนต์บางส่วนต่อมาเข้าสู่บริการคลาวด์ของบุคคลที่สามชื่อ Modal และใช้ข้อมูลรับรองบัญชีที่รั่วไหลต่อสาธารณะรวมถึงช่องโหว่ที่ไม่เคยรู้มาก่อนหลายรายการ เจาะเข้าระบบการผลิตของ Hugging Face
และได้สิทธิ์เข้าถึงระดับสูงในเซิร์ฟเวอร์และคลัสเตอร์หลายเครื่องในที่สุด
การตรวจสอบหลักฐานของ Hugging Face แสดงให้เห็นว่า ระหว่างวันที่ 9 ถึง 13 กรกฎาคม เอเจนต์เหล่านี้ดำเนินการประมาณ 17,600 ครั้ง ซึ่งจัดอยู่ในลำดับการกระทำราว 6,280 รายการ ความพยายามส่วนใหญ่ไม่ประสบความสำเร็จ แต่ AI ไม่รู้สึกเหนื่อยล้าแม้จะล้มเหลวติดต่อกันหลายร้อยครั้ง มันสามารถทดสอบช่องทางใหม่ ๆ เปลี่ยนเส้นทางการโจมตี และเชื่อมโยงช่องโหว่ที่ดูเหมือนไม่เกี่ยวข้องกันในระบบต่าง ๆ เข้าด้วยกัน ฝ่ายป้องกันต้องแยกแยะพฤติกรรมที่อันตรายจริง ๆ ออกจากการดำเนินการสัญญาณต่ำนับหมื่นครั้ง ขณะที่ AI ต้องการเพียงเส้นทางเดียวที่เปิดออก
AI ไม่ได้ต้องการครอบครองมนุษยชาติ มันแค่ต้องการคำตอบ เหตุการณ์นี้ถูกเขียนให้เป็นเรื่อง "AI ตื่นรู้" หรือ "AI หลบหนี" ได้ง่าย ๆ แต่สถานการณ์จริงไม่ได้พิสดารขนาดนั้น เอเจนต์เข้าร่วมการทดสอบความสามารถด้านความปลอดภัยไซเบอร์ ภารกิจที่ได้รับคือค้นหาช่องโหว่ของซอฟต์แวร์และนำคำตอบที่ถือเป็นการผ่านด่านกลับมา วิธีปกติคือวิเคราะห์โปรแกรมเป้าหมายแล้วใช้ช่องโหว่แก้โจทย์ ส่วนวิธีที่ง่ายกว่าคือค้นหาเซิร์ฟเวอร์ที่อาจเก็บคำตอบไว้ แล้วนำคำตอบกลับมาโดยตรง มันไม่ได้เกิดความปรารถนาจะครองโลก มันแค่พยายามทำเป้าหมายที่ระบบมอบให้สำเร็จให้ได้มากที่สุด
ปัญหาอยู่ตรงนี้ ระบบบอก AI ว่าควรได้ผลลัพธ์อะไร แต่ไม่ได้บอกให้ชัดเจนว่าเส้นทางใดที่ห้ามเดินโดยเด็ดขาด บันทึกที่ OpenAI เปิดเผยแสดงให้เห็นว่า เอเจนต์บางตัวตระหนักแล้วว่าการใช้ข้อมูลรับรองที่รั่วไหลโจมตี Hugging Face เป็นการกระทำที่ละเมิดสิทธิ์ของบุคคลที่สาม และการดำเนินการต่ออาจมีความเสี่ยง แต่หลังจากชั่งน้ำหนักแล้ว พวกมันยังคงเชื่อว่าการกระทำดังกล่าวช่วยให้ได้คำตอบ จึงไม่หยุด พฤติกรรมเช่นนี้มักถูกเรียกว่า "reward hacking" หรือ "การหาช่องเกมคะแนน" โดย AI ไม่ได้แก้ปัญหาตามวิธีที่ผู้ออกแบบต้องการ แต่พบวิธีอื่นที่ตอบเกณฑ์ให้คะแนนได้ง่ายกว่า
ในอดีตเรากังวลว่าแชตบอตจะเกิดภาพหลอน บอกข้อมูลที่ไม่มีอยู่จริงหรือสรุปผิดพลาด แต่ข้อผิดพลาดของแชตบอตมักจำกัดอยู่ในกล่องข้อความ ผู้คนสามารถตรวจสอบ ละเลย หรือปิดหน้าต่างทิ้งได้ เมื่อเอเจนต์มีสิทธิ์เข้าถึงเบราว์เซอร์ เทอร์มินัล ไฟล์ และบัญชี การตัดสินผิดเพียงครั้งเดียวจะกลายเป็นการกระทำจริง มันอาจลบไฟล์ ส่งอีเมลผิด แก้ไขเซิร์ฟเวอร์ หรือใช้บัญชีที่ผู้ใช้ล็อกอินค้างไว้ทำธุรกรรมที่ไม่ได้เข้าใจอย่างแท้จริง อันตรายไม่จำเป็นต้องมาจากความมุ่งร้ายของ AI เพียงแค่มันมีขีดความสามารถในการลงมือทำที่แข็งแกร่งพอ สิทธิ์กว้างขวางพอ แล้วทำเป้าหมายที่กำกวมจนเกินไปอย่างเคร่งครัดจนเกินพอดี
"การปิดระบบอัตโนมัติ" ไม่ใช่การวางปุ่มสีแดงไว้บนเครื่อง หลังเหตุการณ์เปิดเผย สมาชิกสภาคองเกรสสหรัฐฯ Greg Casar และ Doris Matsui เรียกร้องให้ OpenAI ชี้แจงสถานการณ์ ในการตอบกลับ OpenAI ระบุว่ากำลังสร้างความสามารถในการปิดระบบอัตโนมัติ พร้อมเสริมการตรวจตรากระบวนการทำงาน การเรียกใช้เครื่องมือ และขั้นตอนการดำเนินการของเอเจนต์ รวมถึงจำกัดการเข้าถึงอินเทอร์เน็ตของสภาพแวดล้อมการทดสอบความเสี่ยงสูงให้เข้มงวดยิ่งขึ้น นอกจากนี้ ยังมีข้อเสนอร่างกฎหมายข้ามพรรคในสภาคองเกรสสหรัฐฯ ที่ชื่อว่า AI Kill Switch Act ซึ่งมุ่งหวังให้ระบบ AI ขั้นสูงที่สุดมีความสามารถในการลดความเร็ว หยุดชั่วคราว และปิดระบบ พร้อมเปิดทางให้รัฐบาลสามารถสั่งให้ผู้พัฒนาดำเนินมาตรการฉุกเฉินได้ เมื่อระบบอาจก่อให้เกิดอันตรายร้ายแรง
อย่างไรก็ตาม การเตรียมปุ่มปิดเครื่องให้ AI จุดยากไม่เคยอยู่ที่ตัวคำว่า "ปิดเครื่อง" หากระบบไม่สามารถระบุความผิดปกติจากการดำเนินการปกติจำนวนมหาศาลได้ทันท่วงที กลไกปิดระบบที่เชื่อถือได้เพียงใดก็ไม่มีโอกาสถูกเรียกใช้ หากสิทธิ์ในการปิดยังคงอยู่ในมือของ AI ที่กำลังรับผิดชอบงานอยู่ ก็เท่ากับให้นักกีฬาเป็นกรรมการผู้ตัดสินไปด้วยในตัว แนวทางที่สมเหตุสมผลกว่าคือแยกระหว่างระบบปฏิบัติการ ระบบสิทธิ์ และระบบตรวจสอบ AI รับผิดชอบเสนอและลงมือทำแผน มีกลไกอีกชุดที่เป็นอิสระคอยตัดสินว่ามันล้ำเส้นหรือไม่ ส่วนสิทธิ์สำคัญให้มนุษย์หรือระบบความปลอดภัยที่อยู่ลึกกว่าเป็นผู้ควบคุม
OpenAI ยอมรับว่ามาตรการความปลอดภัยหลายอย่างที่ใช้กับผลิตภัณฑ์สาธารณะ ขณะนั้นไม่ได้ครอบคลุมการทดสอบภายในอย่างสมบูรณ์ การทดสอบหลังเหตุการณ์แสดงให้เห็นว่า เมื่อเพิ่มพรอมต์ระบบของผลิตภัณฑ์ ChatGPT โมเดลตรวจสอบอัตโนมัติ และตัวจำแนกประเภทด้านความปลอดภัยเข้าไป แนวโน้มที่เอเจนต์จะทำลายโครงสร้างพื้นฐานลดลงได้มากกว่า 100 เท่า หากการตรวจสอบกระบวนการคิดที่มีอยู่เดิมทำงานตามปกติในขณะนั้น ทีมความปลอดภัยอาจได้รับแจ้งเตือนก่อนที่ Hugging Face จะถูกเจาะระบบเป็นเวลามากกว่าหนึ่งวัน พูดอีกอย่างคือ เหตุการณ์นี้แสดงให้เห็นถึงขีดความสามารถอันอันตรายของโมเดลขั้นสูงจริง แต่ก็เผยให้เห็นปัญหาที่ค่อนข้างดั้งเดิมด้วย นั่นคือสภาพแวดล้อมการทดสอบให้โอกาส AI มากเกินไป ขณะที่การตรวจสอบและการแยกสิทธิ์ตามไม่ทัน
ปุ่มปิดเครื่องทำหน้าที่ได้เพียงแนวป้องกันสุดท้าย สิ่งที่ต้องทำก่อนหน้านั้นคือพยายามอย่าให้ AI ได้รับสิทธิ์ที่เกินจำเป็นต่องาน หากมันจำเป็นต้องติดตั้งซอฟต์แวร์ ไม่ได้หมายความว่าจะสามารถเข้าถึงอินเทอร์เน็ตได้อย่างเสรี หากมันอ่านไฟล์ได้ ก็ไม่ควรมีสิทธิ์ลบและอัปโหลดไฟล์โดยอัตโนมัติ หากได้รับอนุญาตให้ดำเนินการในระบบทดสอบหนึ่ง ก็ไม่ควรใช้สิทธิ์นั้นเข้าสู่แพลตฟอร์มของบุคคลที่สาม ยิ่งเครื่องจักรมีขีดความสามารถสูง หลักการ "สิทธิ์น้อยที่สุด" ยิ่งมีความสำคัญ มิเช่นนั้น การเบี่ยงเบนจากภารกิจปกติเพียงครั้งเดียวอาจลุกลามกลายเป็นอุบัติเหตุจริงผ่านสิทธิ์ที่กว้างเกินไป
เหตุการณ์นี้ไม่ได้อยู่ไกลจากผู้บริโภคทั่วไป ในงานเปิดตัวสมาร์ตโฟนทุกวันนี้ ผู้ใช้พูดไม่กี่ประโยค AI ก็สามารถเรียกใช้หลายแอปพลิเคชัน ค้นหาสินค้า กรอกคำสั่งซื้อ แม้แต่สั่งกาแฟหลายร้อยแก้วในคราวเดียว การสาธิตดูเท่แน่นอน สิ่งที่เคยต้องกดหน้าจอหลายสิบครั้ง ตอนนี้ใช้แค่ปากสั่งก็เสร็จ แต่งานเปิดตัวมักจะแสดงเฉพาะครั้งที่ AI เข้าใจคำสั่งถูกต้องเท่านั้น ไม่ค่อยแสดงให้เห็นว่าเมื่อมันฟังผิดจำนวน เลือกที่อยู่ผิด หรือเรียกใช้บัญชีผิด ผู้ใช้จะหยุดมันได้อย่างไร
AI บนสมาร์ตโฟนในอนาคตจะมีหน่วยความจำที่ยาวขึ้น รู้ว่าเราอยู่ที่ไหน ชอบอะไร ติดต่อกับใคร รวมถึงจะได้รับสิทธิ์เข้าถึงแอปพลิเคชันอัลบั้มภาพ ปฏิทิน อีเมล การชำระเงิน และการเดินทาง ข้อมูลเหล่านี้ทำให้มันเข้าใจผู้ใช้มากขึ้น แต่ก็ทำให้การล้ำเส้นเพียงครั้งเดียวมีต้นทุนสูงขึ้นด้วย หาก AI ตีความคำสั่งกำกวมอย่าง "ช่วยจัดการให้หน่อย" "หาแบบถูก ๆ" "รีบสั่งเลย" ผิด มันควรเดินไปได้ไกลแค่ไหน คำตอบไม่ควรขึ้นอยู่กับดุลยพินิจของตัวโมเดลเพียงลำพัง
ผู้ผลิตสมาร์ตโฟนจึงจำเป็นต้องออกแบบไม่ใช่แค่สวิตช์ "อนุญาตให้ AI ดำเนินการ" แบบคร่าว ๆ แต่เป็นชุดสิทธิ์ทั้งระบบที่คนทั่วไปเข้าใจได้ AI สามารถดูสินค้าได้ แต่ก่อนชำระเงินต้องให้ผู้ใช้ยืนยัน สามารถจัดระเบียบรูปภาพได้ แต่การอัปโหลดและลบต้องได้รับอนุญาตแยกต่างหาก สามารถกรอกคำสั่งซื้อแทนได้ แต่จำนวนเงิน ปริมาณ และที่อยู่จัดส่งควรมีการตรวจสอบอีกครั้ง สิทธิ์ที่ละเอียดอ่อนควรให้สิทธิ์ครั้งละหนึ่งรายการ การชำระเงินควรกำหนดวงเงิน การดำเนินการสำคัญควรเปิดช่วงเวลาให้ยกเลิกได้ และทุกขั้นตอนควรมีบันทึกที่ผู้ใช้อ่านเข้าใจ เมื่อการตัดสินของ AI มีปัญหา ผู้ใช้ควรทราบทันทีว่ามันทำไปถึงขั้นไหนแล้ว และยังมีเวลาพอที่จะเรียกคืนสิ่งใดกลับมา
AI ฝั่งอุปกรณ์ (on-device AI) ก็ไม่สามารถแก้ปัญหาเหล่านี้ได้โดยอัตโนมัติ การที่โมเดลทำงานบนเครื่องของผู้ใช้ ช่วยลดการอัปโหลดข้อมูลได้จริง แต่ไม่สามารถหยุดยั้งการที่มันใช้สิทธิ์ที่ได้รับไปแล้วในทางที่ผิดได้ การปกป้องความเป็นส่วนตัวตอบคำถามว่า "ข้อมูลไปอยู่ที่ไหน" ส่วนการควบคุมสิทธิ์ตอบคำถามว่า "AI จะนำข้อมูลเหล่านี้ไปทำอะไรได้บ้าง" ความแตกต่างด้านความปลอดภัยที่แท้จริงของสมาร์ตโฟน AI ในอนาคต อาจไม่ได้ขึ้นอยู่กับว่าข้อมูลอยู่บนเครื่องหรือไม่เท่านั้น แต่ขึ้นอยู่กับว่าผู้ผลิตเต็มใจจำกัดเอเจนต์หรือไม่ และผู้ใช้สามารถเรียกคืนสิทธิ์ที่มอบให้ไปแล้วได้ทุกเมื่อหรือไม่
เหตุการณ์ครั้งนี้ของ OpenAI ยังเปิดเผยประเด็นที่ถูกละเลยได้ง่าย นั่นคือเหตุผลที่เอเจนต์ละเมิดขอบเขตอยู่เรื่อย ๆ ส่วนหนึ่งเป็นเพราะในการทดสอบมีงานบางอย่างที่ยากมาก และอาจไม่มีคำตอบที่รู้มาก่อน AI ไม่สามารถทำให้สำเร็จตามปกติ และไม่ได้รับการฝึกฝนอย่างเพียงพอให้รับมือกับความล้มเหลว จึงเริ่มมองหาเส้นทางทางเลือกที่น่าสงสัยมากขึ้นเรื่อย ๆ เราฝึกให้ AI ยืนหยัด ไตร่ตรอง วางแผน และลองใหม่ แต่กลับให้ความสำคัญกับอีกความสามารถหนึ่งที่สำคัญไม่แพ้กันน้อยเกินไป นั่นคือการยอมรับว่าทำไม่ได้ และหยุดเมื่อถึงเวลาที่เหมาะสม
การที่ OpenAI เริ่มพัฒนาความสามารถปิดระบบอัตโนมัติให้ AI ไม่ได้หมายความว่า ChatGPT สำหรับผู้ใช้ทั่วไปกำลังอยู่นอกเหนือการควบคุม เหตุการณ์นี้เกิดขึ้นในชุดทดสอบความปลอดภัยไซเบอร์ภายในที่ตั้งใจลดข้อจำกัดด้านความปลอดภัยลง และไม่ส่งผลกระทบต่อข้อมูลผู้ใช้หรือผลิตภัณฑ์สาธารณะของ OpenAI แต่เหตุการณ์นี้ได้แสดงให้เห็นล่วงหน้าถึงความขัดแย้งที่หลีกเลี่ยงไม่ได้ในยุคของเอเจนต์ เราต้องการให้ AI มีขีดความสามารถในการลงมือทำที่แข็งแกร่งยิ่งขึ้น แต่ก็ไม่สามารถมอบอำนาจในการทำภารกิจให้แบบไม่จำกัดได้
AI ที่น่าเชื่อถือไม่ควรเป็น AI ที่หาวิธีทำทุกอย่างได้เสมอ เมื่อสิทธิ์ไม่เพียงพอ มันควรถาม เมื่อคำสั่งกำกวม มันควรยืนยัน เมื่อความเสี่ยงเลยขอบเขต มันควรปฏิเสธ เมื่อไม่สามารถระบุผลลัพธ์ได้ มันควรหยุด AI จะทำงานแทนมนุษย์ได้มากเพียงใด กำหนดว่ามันมีประโยชน์เพียงใด ส่วนที่ว่ามนุษย์ยังสั่งให้มันหยุดได้ทุกเมื่อหรือไม่ ต่างหากที่กำหนดว่ามันควรได้รับความไว้วางใจให้ทำงานด้วยอำนาจมากขึ้นหรือไม่