เร็ววันนี้ OpenAI เผยแพร่คำตอบโจทย์คณิตศาสตร์ 719 ชิ้นที่สร้างโดยโมเดลของตน เกี่ยวข้องกับหลายโจทย์วิจัยที่ยังเปิดอยู่ 儘管บริษัทระบุว่าก่อนเผยแพร่ได้ปรึกษาคณะที่ปรึกษาด้านคณิตศาสตร์และปัญญาประดิษฐ์ แต่จากข้อมูลสาธารณะพบว่ากระบวนการยังไม่บรรลุมาตรฐานที่คณะที่ปรึกษานำเสนอ โดยเฉพาะในการรับรองที่เพียงพอสำหรับความเข้าใจของมนุษย์ การตรวจสอบแบบเป็นทางการ และการตรวจสอบโดยเพื่อนร่วมงาน คณะที่ปรึกษาของ OpenAI นี้นำโดยสถาบันการศึกษาขั้นสูงของ普林斯頓 (Institute for Advanced Study, Princeton) สมาชิกประกอบด้วยนักวิจัยคณิตศาสตร์ 9 คนจากหลายสถาบันทั่วโลก คณะที่ปรึกษาเคยแนะนำให้หยุดใช้โมเดลเฉพาะเจาะจง (proprietary models) ทดสอบโจทย์คณิตศาสตร์ขั้นสูง แต่ครั้งนี้ OpenAI ใช้โมเดลเฉพาะเจาะจงประเมินโจทย์คณิตศาสตร์ที่เปิดเผยอยู่
คำตอบโจทย์คณิตศาสตร์ของ OpenAI มีข้อบกพร่องหลายประการ
ใน 719 เอกสาร มีเพียง 10 ชิ้นที่เปิดเผยกระบวนการให้เหตุผลที่โมเดลใช้สรุปผล ส่วนอีก 42% ของการพิสูจน์ยังไม่เสร็จสิ้นการจัดรูปแบบเป็นทางการ (formalization) หนึ่งงานวิจัยใหม่ของนักวิจัยคณิตศาสตร์จากมหาวิทยาลัยเคมบริดจ์ (University of Cambridge) และคิงส์คอลเลจลอนดอน (King's College London) ชี้ให้เห็นว่าคำตอบของ OpenAI สำหรับโจทย์หนึ่งที่ व्युतพันมาจากสมการ Navier-Stokes มีความแตกต่างอย่างน้อย 2 จุดระหว่างการพิสูจน์ภาษาธรรมชาติและโค้ดแบบเป็นทางการ ความแตกต่างเหล่านี้ไม่ได้หมายความว่าการพิสูจน์ผิดแน่ แต่แสดงให้เห็นว่าโมเดลอาจเกิดการแปลผิดเมื่อแปลงการให้เหตุผลแบบข้อความเป็นโค้ดที่ตรวจสอบได้
คณะที่ปรึกษาเคยกำหนดให้ห้องปฏิบัติการให้ข้อมูลเชื่อมโยงที่อ่านโดยเครื่องได้ เพื่อให้สอดคล้องกับการพิสูจน์ภาษาธรรมชาติและผลลัพธ์แบบเป็นทางการ แต่ครั้งนี้ OpenAI ไม่ได้ให้ข้อมูลดังกล่าว นักคณิตศาสตร์มองว่าการพิสูจน์ที่เครื่องสร้างขึ้นยังต้องผ่านการตรวจสอบโดยเพื่อนร่วมงานเหมือนการพิสูจน์แบบดั้งเดิม เทอ จือ-ซืน (Terence Tao) ยังชี้ให้เห็นว่าถ้าผู้ที่สั่งให้โมเดลแก้โจทย์ไม่สามารถอธิบายผลลัพธ์ เข้าร่วมรายงาน หรือตอบคำถามจากเพื่อนร่วมงานได้ ผลงานดังกล่าวจะยากที่จะรวมเข้ากับการวิจัยคณิตศาสตร์ได้จริง ศาสตราจารย์คณิตศาสตร์ของมหาวิทยาลัยฮาร์วาร์ด เมลานี วูด (Melanie Wood) ระบุว่าเมื่อโมเดลให้คำตอบออกมา ความเข้าใจของมนุษย์มักยังไม่ได้ก่อตัวขึ้น งานตรวจสอบต่อเนื่องจึงเพิ่งเริ่มต้นขึ้น