OpenAI 模型在舊有程式語言編碼及遷移方面達到 97.9% 準確率

·作者 Henderson·Engineering
OpenAI 模型在舊有程式語言編碼及遷移方面達到 97.9% 準確率
重點
  • OpenAI 模型在舊有程式語言編碼及遷移方面達到 97.9% 準確率。
  • COBOL 代碼在金融基礎設施中仍然深植根基,替換風險高。
  • 開發者在使用舊有語言時面臨文檔不完整及業務規則問題。
  • OpenAI 測試顯示出對維護老化軟件的支持更為強勁。

OpenAI 大幅提升了其模型在舊有程式語言中編寫軟件及遷移現有代碼的能力。其最新結果顯示,在一項旨在測試舊有程式的遷移的測試中,準確度達到 97.9%。這些改進可能有助於企業現代化那些對日常運營至關重要的軟件。銀行及金融機構仍然依賴數十年前的代碼,這使得替換工作風險極高,因為開發者必須保留既有的計算及業務規則。處理遺留的 COBOL 代碼在金融基礎設施中仍然深植根基。

IBM 估計,COBOL 支持超過 40% 的網上銀行系統、80% 的面對面信用卡交易及 95% 的自動櫃員機交易。Fortran 在科學計算中也保持重要性,包括天氣預測和核反應堆安全分析。這兩種語言的訓練材料遠少於如 Python 和 JavaScript 等受歡迎的選擇。

舊有程式語言的挑戰

OpenAI 表示,開發者和企業客戶在使用這些舊有語言進行編碼時報告了困難。文檔可能不完整,而關鍵業務規則可能僅存在於原始代碼中,這在遷移過程中會產生問題。一個重寫的程序可能運行無誤,但結果卻不同。例如,COBOL 可能會丟棄多餘的小數位,除非程序明確要求進行四捨五入。改變這一行為可能會影響財務計算。OpenAI 的 COBOL 遷移評估測試模型是否能在不改變行為的情況下,將現有程序轉換為 C++、Java、Kotlin、Python 或 Rust。

GPT-6.1 Sol 在低推理難度下達到 86.6% 的準確度,而 GPT-5.6 Sol 只有 5.4%。OpenAI 還報告在該設置下,API 成本降低了 39%。在較高的推理難度下,GPT-6.1 Sol 達到 97.9% 的準確度。該評估要求轉換的程序通過每一個隱藏測試,包括檢查其可觀察輸出與原始程序的比較。這一數字反映了 OpenAI 測試套件的性能,而不是遷移無錯誤的保證。

開發者仍需根據實際工作負載和未記錄的依賴進行驗證。

多語言測試成果

OpenAI 還在 MultiLangBench 上測試其模型,該測試衡量其在 20 種程式語言中構建與 SQLite 兼容的資料庫引擎的能力。GPT-6 Astra 的平均通過率達到 87.4%,相比之下,GPT-5.6 Sol 僅為 26.8%。Astra 在每種測試的語言中均有所改善。其 Fortran 得分從 21.4% 上升至 83.5%,而 Visual Basic 則從 27.5% 上升至 89.4%。

儘管 COBOL 仍然是最具挑戰性的語言,但 Astra 的得分從 10.9% 提升至 72.1%。GPT-6 Luna 的平均通過率較低,為 40.3%,但每個樣本的成本約低於 GPT-5.6 Sol 的 78%。OpenAI 分別估算了 API 成本為 US$0.77 (約 HK$6) 和 US$3.48 (約 HK$27)。這些發現顯示出對於維護老化軟件的支持更為強勁,然而開發者仍需確保現代化系統保留企業所依賴的行為。

基準測試同樣顯示出仍需進一步改進的地方。Astra 的結果在不同語言之間變化顯著,而 COBOL 仍然是最大的挑戰。同時,Luna 的較低成本可能讓工程團隊在不大幅增加預算的情況下進行更多實驗。這些結果提供了進展的鼓舞人心的證據,但團隊需要仔細驗證生產部署,才能在信任遷移的軟件用於關鍵操作之前。

OpenAI 模型對舊有系統的影響

OpenAI 在舊有程式語言的編碼及遷移能力上取得顯著進展,特別是在金融行業,許多系統仍依賴數十年前的代碼。隨著企業尋求現代化其運營,這些技術的提升能有效降低替換風險,並確保業務規則的保留。然而,開發者仍需面對文檔不完整及業務邏輯的挑戰,這可能影響遷移的準確性。OpenAI 的測試結果顯示,儘管有進步,但仍需進一步驗證以確保新系統的可靠性,這對於關鍵業務操作至關重要。

H
關於作者
Henderson