OpenAI 模型在旧有程序语言编码及迁移方面达到 97.9% 准确率

·作者 Henderson·Engineering
OpenAI 模型在旧有程序语言编码及迁移方面达到 97.9% 准确率
重点
  • OpenAI 模型在旧有程序语言编码及迁移方面达到 97.9% 准确率。
  • COBOL 代码在金融基础设施中仍然深植根基,替换风险高。
  • 开发者在使用旧有语言时面临文档不完整及业务规则问题。
  • OpenAI 测试显示出对维护老化软件的支持更为强劲。

OpenAI 大幅提升了其模型在旧有程序语言中编写软件及迁移现有代码的能力。其最新结果显示,在一项旨在测试旧有程序的迁移的测试中,准确度达到 97.9%。这些改进可能有助于企业现代化那些对日常运营至关重要的软件。银行及金融机构仍然依赖数十年前的代码,这使得替换工作风险极高,因为开发者必须保留既有的计算及业务规则。处理遗留的 COBOL 代码在金融基础设施中仍然深植根基。

IBM 估计,COBOL 支持超过 40% 的网上银行系统、80% 的面对面信用卡交易及 95% 的自动柜员机交易。Fortran 在科学计算中也保持重要性,包括天气预测和核反应堆安全分析。这两种语言的训练材料远少于如 Python 和 JavaScript 等受欢迎的选择。

旧有程序语言的挑战

OpenAI 表示,开发者和企业客户在使用这些旧有语言进行编码时报告了困难。文档可能不完整,而关键业务规则可能仅存在于原始代码中,这在迁移过程中会产生问题。一个重写的程序可能运行无误,但结果却不同。例如,COBOL 可能会丢弃多余的小数位,除非程序明确要求进行四舍五入。改变这一行为可能会影响财务计算。OpenAI 的 COBOL 迁移评估测试模型是否能在不改变行为的情况下,将现有程序转换为 C++、Java、Kotlin、Python 或 Rust。

GPT-6.1 Sol 在低推理难度下达到 86.6% 的准确度,而 GPT-5.6 Sol 只有 5.4%。OpenAI 还报告在该设置下,API 成本降低了 39%。在较高的推理难度下,GPT-6.1 Sol 达到 97.9% 的准确度。该评估要求转换的程序通过每一个隐藏测试,包括检查其可观察输出与原始程序的比较。这一数字反映了 OpenAI 测试套件的性能,而不是迁移无错误的保证。

开发者仍需根据实际工作负载和未记录的依赖进行验证。

多语言测试成果

OpenAI 还在 MultiLangBench 上测试其模型,该测试衡量其在 20 种程序语言中构建与 SQLite 兼容的数据库引擎的能力。GPT-6 Astra 的平均通过率达到 87.4%,相比之下,GPT-5.6 Sol 仅为 26.8%。Astra 在每种测试的语言中均有所改善。其 Fortran 得分从 21.4% 上升至 83.5%,而 Visual Basic 则从 27.5% 上升至 89.4%。

尽管 COBOL 仍然是最具挑战性的语言,但 Astra 的得分从 10.9% 提升至 72.1%。GPT-6 Luna 的平均通过率较低,为 40.3%,但每个样本的成本约低于 GPT-5.6 Sol 的 78%。OpenAI 分别估算了 API 成本为 US$0.77 (约 HK$6) 和 US$3.48 (约 HK$27)。这些发现显示出对于维护老化软件的支持更为强劲,然而开发者仍需确保现代化系统保留企业所依赖的行为。

基准测试同样显示出仍需进一步改进的地方。Astra 的结果在不同语言之间变化显著,而 COBOL 仍然是最大的挑战。同时,Luna 的较低成本可能让工程团队在不大幅增加预算的情况下进行更多实验。这些结果提供了进展的鼓舞人心的证据,但团队需要仔细验证生产部署,才能在信任迁移的软件用于关键操作之前。

OpenAI 模型对旧有系统的影响

OpenAI 在旧有程序语言的编码及迁移能力上取得显著进展,特别是在金融行业,许多系统仍依赖数十年前的代码。随着企业寻求现代化其运营,这些技术的提升能有效降低替换风险,并确保业务规则的保留。然而,开发者仍需面临文档不完整及业务逻辑的挑战,这可能影响迁移的准确性。OpenAI 的测试结果显示,尽管有进步,但仍需进一步验证以确保新系统的可靠性,这对于关键业务操作至关重要。

H
关于作者
Henderson