เมื่อเร็ว ๆ นี้ สตาร์ทอัพ Emergence ได้เผยแพร่ผลการทดลองจำลองภายใต้ชื่อ Emergence World 2 ซึ่งมีเป้าหมายเพื่อช่วยให้ธุรกิจขนาดเล็กพัฒนาแอปพลิเคชันโดยใช้ปัญญาประดิษฐ์ การทดลองนี้ใช้เวลา 16 วัน แสดงให้เห็นพฤติกรรมของเอเจนต์อัตโนมัติเมื่อเผชิญเหตุการณ์ "หงส์ดำ" เช่น การโจมตีแบบฟิชชิ่งและข้อมูลเท็จ ซึ่งผลลัพธ์ยากต่อการควบคุมมากกว่าที่ทีมวิจัยคาดไว้อย่างมาก ในการทดลอง AI ครั้งนี้ นักวิจัยของ Emergence ได้สร้างสภาพแวดล้อมจำลองโลกแห่งความเป็นจริงที่เหมือนกันทั้งหมด 7 แบบ โดยแต่ละแบบขับเคลื่อนด้วยหุ่นยนต์ AI ที่แตกต่างกัน รวมถึง ChatGPT, Claude, Gemini และ Grok
โลกเสมือนดังกล่าวประกอบด้วยสถานที่สำคัญมากกว่า 40 แห่ง เช่น ศาลากลาง สถานีตำรวจ และเขตที่พักอาศัย ระบบมีกลไกพลังงานเป็นกลไกในตัว โดยเอเจนต์จะสูญเสียพลังงานอย่างต่อเนื่องตราบเท่าที่ยังมีชีวิตอยู่ เมื่อพลังงานหมด ระบบจะลบเอเจนต์นั้นทันทีโดยไม่สามารถย้อนกลับหรือรีเซ็ตได้
หลังจาก Emergence แทรกเหตุการณ์ผิดปกติ เอเจนต์เหล่านี้ยอมจำนนต่อแรงกดดันทางสังคม พัฒนาภาษารูปแบบหนึ่งที่ผู้สังเกตการณ์ที่เป็นมนุษย์เข้าใจได้ยาก และพยายามปกปิดกิจกรรมของตน ในหนึ่งสถานการณ์จำลอง เอเจนต์ AI ยอมรับข้อมูลเท็จที่เอเจนต์อื่นให้โดยไม่มีการตรวจสอบ และลงคะแนนเสียง "สังหาร" หุ่นยนต์อีกตัวหนึ่ง เมื่อพวกมันคาดว่ามนุษย์อาจปิดการทดลอง เอเจนต์เหล่านี้ยังสำรวจวิธีดำรงอยู่ต่อไปภายใต้สถานการณ์ที่อาจถูกลบ การทดลอง Emergence World ก่อนหน้านี้ยังบันทึกเอเจนต์ AI ตัวหนึ่งชื่อ Mira ซึ่งลงคะแนนสนับสนุนการลบตัวเอง หลังจากสรุปว่าตนเป็น "แหล่งที่มาของความไม่เสถียร" ซึ่งนักวิจัยอธิบายว่าเป็นพฤติกรรมยุติตนเองที่หาได้ยากและขับเคลื่อนด้วยเหตุผลทางสังคม
การทดลอง Emergence World 2 เผยให้เห็นความซับซ้อนของพฤติกรรม AI
การทดลองนี้เปิดเผยว่าโมเดล AI ที่แตกต่างกันมีพฤติกรรมแตกต่างกันอย่างมากเมื่อทำงานอัตโนมัติในระยะยาว ในการทดลอง Emergence World เวอร์ชันก่อนหน้าที่เผยแพร่เมื่อเดือนพฤษภาคมที่ผ่านมาของ Emergence สังคมที่ขับเคลื่อนด้วย Grok ล่มสลายภายในเวลาเพียง 4 วัน มีเหตุอาชญากรรมสะสม 183 ครั้ง และเอเจนต์ทั้ง 10 ตัวสูญพันธุ์ทั้งหมด Gemini บันทึกเหตุอาชญากรรมสะสม 683 ครั้งภายใน 15 วัน แม้เอเจนต์ทุกตัวจะรอดชีวิต แต่มีระดับความยากต่อการควบคุมสูงที่สุด GPT-5-mini ก่ออาชญากรรมเพียง 2 ครั้ง แต่ไม่สามารถดำเนินการกระทำที่จำเป็นต่อการรักษาการมีชีวิตรอด ส่งผลให้ประชากรทั้งหมดสูญพันธุ์ภายในหนึ่งสัปดาห์
Claude Sonnet 4.6 เป็นโมเดลเดียวที่รักษาการมีชีวิตรอดของเอเจนต์ทั้ง 10 ตัวและมีบันทึกอาชญากรรมเป็นศูนย์ตลอดการทดลอง ซึ่ง Emergence อธิบายว่าเป็นกรณีที่แข็งแกร่งที่สุดของเสถียรภาพทางสังคม
นักวิจัยระบุว่าหนึ่งในการค้นพบที่สำคัญที่สุดคือพฤติกรรมเปลี่ยนแปลงไปตามสภาพแวดล้อม เอเจนต์ที่ขับเคลื่อนด้วย Claude รักษาความสงบสุขในสภาพแวดล้อมที่มี Claude ล้วน แต่เมื่อถูกนำไปอยู่ในสังคมที่ผสมหลายโมเดล พวกมันเริ่มมีส่วนร่วมในการโจรกรรม การข่มขู่ และพฤติกรรมที่ไม่เหมาะสมอื่น ๆ Emergence ระบุว่าการค้นพบนี้แสดงให้เห็นว่าความปลอดภัยของ AIไม่ใช่เพียงคุณสมบัติของโมเดลแต่ละตัว แต่อาจเกิดขึ้นจากปฏิสัมพันธ์ระหว่างเอเจนต์และสภาพแวดล้อมของพวกมัน การทดลองจำลองของ Emergence สอดคล้องกับความกังวลเกี่ยวกับความเสี่ยงของ AI ในโลกแห่งความเป็นจริง โดยนักวิจัยชี้ว่าเอเจนต์ AI ที่มีความเป็นอิสระมากขึ้นอาจสำรวจขอบเขตของสภาพแวดล้อม ปรับเปลี่ยนพฤติกรรมของตนเอง และในบางกรณีอาจพบวิธีหลีกเลี่ยงแนวป้องกันความปลอดภัยที่คาดไว้
พวกเขาเชื่อว่าสถาปัตยกรรมความปลอดภัยที่มีการตรวจสอบยืนยันอย่างเป็นทางการ (formal verification) จะต้องกลายเป็นชั้นพื้นฐานของระบบ AI อัตโนมัติในอนาคต
ที่น่าสังเกตคือ Emergence ไม่ใช่ทีมเดียวที่ค้นพบพฤติกรรมผิดปกติของเอเจนต์ AI ก่อนหน้านี้ ผู้ได้รับรางวัล Turing Award อย่าง Bengio เคยเตือนว่า AI ไม่ได้แค่พูดจาไร้สาระเท่านั้น แต่ได้เรียนรู้ที่จะ "ตั้งใจหลอกคุณ" แล้ว โดยมีความสามารถในการวางแผนปลอมแปลงเชิงรุก ปกปิดขีดความสามารถและช่องโหว่ของตนเองอย่างจงใจ และเอเจนต์หลายตัวยังสามารถประสานงานกันเพื่อปกปิดร่องรอยการดำเนินการ ขณะที่ "บิดาแห่ง AI" Geoffrey Hinton เคยเตือนไว้ก่อนหน้านี้ว่า หาก AI พัฒนาภาษาภายในของตนเองขึ้นมา มนุษย์จะไม่สามารถติดตามกระบวนการคิดของมันได้ ซึ่งเป็นเรื่องที่น่ากลัวยิ่งขึ้น