Baru-baru ini, OpenAI mengumumkan 719 solusi masalah matematika yang dihasilkan modelnya, yang melibatkan sejumlah masalah penelitian terbuka. Meskipun perusahaan tersebut menyatakan telah berkonsultasi dengan panel penasihat matematika dan kecerdasan buatan sebelum rilis, berdasarkan informasi publik, prosesnya belum sepenuhnya memenuhi standar yang diajukan panel tersebut, khususnya ada kekurangan dalam jaminan yang memadai untuk pemahaman manusia, verifikasi formal, dan tinjauan sebaya. Panel penasihat OpenAI dipimpin oleh Institute for Advanced Study Princeton, dengan anggota meliputi 9 peneliti matematika dari berbagai institusi global. Panel tersebut sebelumnya menyarankan penghentian penggunaan model kepemilikan untuk menguji masalah matematika tingkat lanjut, namun kali ini OpenAI secara eksplisit menggunakan model kepemilikan untuk mengevaluasi masalah matematika terbuka.
Solusi Masalah Matematika OpenAI Memiliki Beberapa Kekurangan
Dalam 719 naskah tersebut, hanya 10 yang mengungkapkan proses penalaran model untuk mencapai kesimpulan, sementara 42% bukti lain belum selesai diproses secara formal. Sebuah makalah baru yang diselesaikan oleh peneliti matematika dari University of Cambridge dan King's College London menegaskan, dalam solusi OpenAI untuk sebuah masalah yang diturunkan dari persamaan Navier-Stokes, terdapat setidaknya dua perbedaan antara bukti bahasa alami dan kode formal. Perbedaan ini tidak berarti bukti tersebut salah, tetapi menunjukkan model mungkin mengalami kesalahan terjemahan saat mengubah penalaran teks menjadi kode yang dapat diverifikasi.
Panel penasihat sebelumnya menuntut laboratorium menyediakan informasi terkait yang dapat dibaca mesin, untuk menyesuaikan bukti bahasa alami dan hasil formal, namun OpenAI kali ini tidak menyediakannya. Para matematikawan berpendapat, bukti yang dihasilkan mesin tetap harus menjalani tinjauan sebaya yang sama dengan bukti tradisional. Terence Tao juga menegaskan, jika orang yang meminta model memecahkan masalah tidak dapat menjelaskan hasil, berpartisipasi dalam laporan, atau menjawab pertanyaan sebaya, hasil terkait sulit benar-benar terintegrasi ke dalam penelitian matematika. Profesur matematika Harvard University Melanie Wood menyatakan, saat model mengeluarkan solusi, pemahaman manusia sering kali belum terbentuk, pekerjaan verifikasi lanjutan baru saja dimulai.