في الآونة الأخيرة، كشفت OpenAI عن 719 حلاً لمسائل رياضية أنتجتها نماذجها، تتناول عدة مسائل بحثية مفتوحة. وعلى الرغم من أن الشركة أفادت بأنها استشارت لجنة استشارية للرياضيات والذكاء الاصطناعي قبل النشر، إلا أن إجراءاتها -وفق ما هو متاح علناً- لم تبلغ بالكامل المعايير التي وضعتها اللجنة، لا سيما في ما يتصل بضمان الفهم البشري، والتحقق الشكلي، ومراجعة الأقران على نحو كافٍ. وتترأس هذه اللجنة الاستشارية لـ OpenAI معهد الدراسات المتقدمة في برينستون، وتضم في عضويتها 9 باحثين في الرياضيات من مؤسسات متعددة حول العالم. وكانت اللجنة قد أوصت سابقاً بالتوقف عن استخدام النماذج الاحتكارية لاختبار مسائل الرياضيات العليا، غير أن OpenAI استخدمت هذه المرة نموذجاً احتكارياً صراحةً لتقييم مسائل رياضية مفتوحة.
حلول OpenAI للمسائل الرياضية تشوبها أوجه قصور عدة
من بين 719 وثيقة، كشفت 10 فقط عن عملية الاستدلال التي توصل بها النموذج إلى استنتاجاته، في حين لم تكتمل المعالجة الشكلية لـ 42% من البراهين. وأشارت ورقة بحثية جديدة أنجزها باحثون في الرياضيات من جامعة كامبريدج وكلية كينجز في لندن، إلى وجود اختلافين على الأقل بين البرهان بلغة طبيعية والرمز الشكلي في الحل الذي قدمته OpenAI لمسألة مشتقة من معادلات نافييه-ستوكس. وهذه الاختلافات لا تعني بالضرورة أن البرهان خاطئ، لكنها تظهر أن النموذج قد يقع في أخطاء ترجمة عند تحويل الاستدلال النصي إلى رمز قابل للتحقق.
وكانت اللجنة الاستشارية قد طالبت المختبر سابقاً بتوفير معلومات ارتباطية قابلة للقراءة آلياً، لتطابق البراهين بلغة طبيعية مع النتائج الشكلية، غير أن OpenAI لم تقدم ذلك هذه المرة. ويرى علماء الرياضيات أن البراهين المولدة آلياً لا تزال بحاجة إلى الخضوع لمراجعة الأقران نفسها التي تخضع لها البراهين التقليدية. وأشار تيرنس تاو إلى أنه إذا كان من يوجه النموذج لحل المسألة غير قادر على تفسير النتائج، أو المشاركة في التقرير، أو الرد على أسئلة الأقران، فإن هذه النتائج يصعب دمجها حقاً في البحث الرياضي. وقالت ميلاني وود، أستاذة الرياضيات في جامعة هارفارد، إنه عند إخراج النموذج للحلول، غالباً ما لم يتشكل الفهم البشري بعد، ولا يكون عمل التحقق اللاحق قد بدأ إلا للتو.