OpenAI Model Mencapai Akurasi 97.9% dalam Pengkodean dan Migrasi Bahasa Pemrograman Kuno

OpenAI telah secara signifikan meningkatkan kemampuan modelnya dalam menulis perangkat lunak menggunakan bahasa pemrograman kuno dan memigrasi kode yang ada. Hasil terbaru menunjukkan bahwa dalam sebuah tes yang dirancang untuk menguji migrasi program-program kuno, akurasi mencapai 97.9%. Peningkatan ini dapat membantu perusahaan dalam memodernisasi perangkat lunak yang sangat penting untuk operasi sehari-hari. Bank dan lembaga keuangan masih bergantung pada kode yang ditulis puluhan tahun yang lalu, yang membuat pekerjaan penggantian menjadi sangat berisiko, karena pengembang harus mempertahankan aturan perhitungan dan bisnis yang ada. Penanganan kode COBOL yang sudah tua masih sangat tertanam dalam infrastruktur keuangan.

IBM memperkirakan bahwa COBOL mendukung lebih dari 40% sistem perbankan online, 80% transaksi kartu kredit tatap muka, dan 95% transaksi ATM. Fortran juga tetap penting dalam perhitungan ilmiah, termasuk ramalan cuaca dan analisis keamanan reaktor nuklir. Materi pelatihan untuk kedua bahasa ini jauh lebih sedikit dibandingkan dengan pilihan populer seperti Python dan JavaScript.

Tantangan Bahasa Pemrograman Kuno

OpenAI menyatakan bahwa pengembang dan klien perusahaan melaporkan kesulitan saat menggunakan bahasa-bahasa kuno ini untuk pengkodean. Dokumentasi mungkin tidak lengkap, dan aturan bisnis yang penting mungkin hanya ada dalam kode asli, yang dapat menimbulkan masalah selama proses migrasi. Sebuah program yang ditulis ulang mungkin berjalan dengan baik, tetapi hasilnya bisa berbeda. Misalnya, COBOL mungkin membuang angka desimal yang berlebih, kecuali program secara eksplisit meminta pembulatan. Mengubah perilaku ini dapat mempengaruhi perhitungan keuangan. Penilaian migrasi COBOL OpenAI menguji apakah model dapat mengonversi program yang ada menjadi C++, Java, Kotlin, Python, atau Rust tanpa mengubah perilaku.

GPT-6.1 Sol mencapai akurasi 86.6% pada tingkat kesulitan inferensi rendah, sementara GPT-5.6 Sol hanya 5.4%. OpenAI juga melaporkan bahwa dalam pengaturan tersebut, biaya API turun sebesar 39%. Pada tingkat kesulitan inferensi yang lebih tinggi, GPT-6.1 Sol mencapai akurasi 97.9%. Penilaian ini mengharuskan program yang dikonversi untuk melewati setiap tes tersembunyi, termasuk memeriksa output yang dapat diamati dibandingkan dengan program asli. Angka ini mencerminkan kinerja paket pengujian OpenAI, bukan jaminan migrasi tanpa kesalahan.

Pengembang masih perlu memverifikasi berdasarkan beban kerja aktual dan ketergantungan yang tidak terdokumentasi.

Hasil Pengujian Multibahasa

OpenAI juga menguji modelnya di MultiLangBench, yang mengukur kemampuannya dalam membangun mesin basis data yang kompatibel dengan SQLite dalam 20 bahasa pemrograman. Tingkat kelulusan rata-rata GPT-6 Astra mencapai 87.4%, sementara GPT-5.6 Sol hanya 26.8%. Astra menunjukkan peningkatan dalam setiap bahasa yang diuji. Skor Fortran meningkat dari 21.4% menjadi 83.5%, sementara Visual Basic meningkat dari 27.5% menjadi 89.4%.

Meskipun COBOL tetap menjadi bahasa yang paling menantang, skor Astra meningkat dari 10.9% menjadi 72.1%. Rata-rata tingkat kelulusan GPT-6 Luna lebih rendah, yaitu 40.3%, tetapi biaya per sampel sekitar lebih rendah dibandingkan dengan GPT-5.6 Sol yang 78%. OpenAI memperkirakan biaya API masing-masing sebesar US$0.77 (sekitar HK$6) dan US$3.48 (sekitar HK$27). Temuan ini menunjukkan dukungan yang lebih kuat untuk pemeliharaan perangkat lunak yang sudah tua, namun pengembang masih perlu memastikan bahwa sistem yang dimodernisasi mempertahankan perilaku yang diandalkan oleh perusahaan.

Pengujian dasar juga menunjukkan bahwa masih ada ruang untuk perbaikan lebih lanjut. Hasil Astra bervariasi secara signifikan antar bahasa, sementara COBOL tetap menjadi tantangan terbesar. Sementara itu, biaya Luna yang lebih rendah mungkin memungkinkan tim teknik untuk melakukan lebih banyak eksperimen tanpa meningkatkan anggaran secara signifikan. Hasil ini memberikan bukti yang menggembirakan tentang kemajuan, tetapi tim perlu memverifikasi dengan cermat penerapan produksi sebelum mempercayakan perangkat lunak migrasi untuk operasi bisnis yang kritis.

Dampak Model OpenAI pada Sistem Kuno

OpenAI telah mencapai kemajuan signifikan dalam kemampuan pengkodean dan migrasi bahasa pemrograman kuno, terutama di sektor keuangan, di mana banyak sistem masih bergantung pada kode yang ditulis puluhan tahun yang lalu. Seiring perusahaan berusaha memodernisasi operasional mereka, peningkatan teknologi ini dapat secara efektif mengurangi risiko penggantian dan memastikan bahwa aturan bisnis tetap terjaga. Namun, pengembang masih harus menghadapi tantangan dokumentasi yang tidak lengkap dan logika bisnis, yang dapat mempengaruhi akurasi migrasi. Hasil pengujian OpenAI menunjukkan bahwa meskipun ada kemajuan, verifikasi lebih lanjut masih diperlukan untuk memastikan keandalan sistem baru, yang sangat penting untuk operasi bisnis yang kritis.