OpenAI モデルが旧来のプログラミング言語のコーディングおよび移行において97.9%の精度を達成

OpenAIは、旧来のプログラミング言語におけるソフトウェアのコーディングおよび既存コードの移行能力を大幅に向上させた。最新の結果は、旧来のプログラムの移行をテストするための試験において、精度が97.9%に達したことを示している。これらの改善は、企業が日常業務に不可欠なソフトウェアを現代化するのに役立つ可能性がある。銀行や金融機関は、数十年前のコードに依存しており、置き換え作業のリスクが非常に高い。開発者は既存の計算およびビジネスルールを保持しなければならない。COBOLコードの処理は、金融インフラに深く根付いている。

IBMは、COBOLがオンラインバンキングシステムの40%以上、対面でのクレジットカード取引の80%、およびATM取引の95%をサポートしていると推定している。Fortranは、気象予測や原子炉の安全分析を含む科学計算においても重要性を保っている。これら二つの言語のトレーニング資料は、PythonやJavaScriptなどの人気のある選択肢に比べて遥かに少ない。

旧来のプログラミング言語の課題

OpenAIは、開発者や企業顧客がこれらの旧来の言語を使用してコーディングする際に困難を報告している。文書が不完全である可能性があり、重要なビジネスルールが元のコードにのみ存在することが、移行プロセスで問題を引き起こす。再構築されたプログラムは正常に動作するかもしれないが、結果が異なる場合がある。例えば、COBOLは余分な小数点以下の桁を捨てることがあるが、プログラムが明示的に四捨五入を要求しない限りそうなる。この動作を変更すると、財務計算に影響を及ぼす可能性がある。OpenAIのCOBOL移行評価は、既存のプログラムをC++、Java、Kotlin、Python、またはRustに変換できるかどうかを、動作を変更せずにテストする。

GPT-6.1 Solは低い推論難易度で86.6%の精度を達成し、GPT-5.6 Solはわずか5.4%であった。OpenAIはまた、この設定下でAPIコストが39%削減されたと報告している。より高い推論難易度では、GPT-6.1 Solは97.9%の精度を達成した。この評価では、変換されたプログラムがすべての隠れたテストを通過し、その観察可能な出力が元のプログラムと比較される。この数字は、OpenAIのテストスイートの性能を反映しており、移行が無誤であることの保証ではない。

開発者は依然として、実際の作業負荷や未記録の依存関係に基づいて検証を行う必要がある。

多言語テストの成果

OpenAIはまた、MultiLangBenchでモデルをテストしており、このテストは20種類のプログラミング言語でSQLite互換のデータベースエンジンを構築する能力を測定している。GPT-6 Astraの平均合格率は87.4%に達し、対照的にGPT-5.6 Solはわずか26.8%であった。Astraは各テストの言語で改善を見せている。Fortranのスコアは21.4%から83.5%に上昇し、Visual Basicは27.5%から89.4%に上昇した。

COBOLは依然として最も挑戦的な言語であるが、Astraのスコアは10.9%から72.1%に向上した。GPT-6 Lunaの平均合格率は40.3%と低いが、各サンプルのコストはGPT-5.6 Solの78%よりも約低い。OpenAIはそれぞれのAPIコストをUS$0.77（約HK$6）およびUS$3.48（約HK$27）と推定している。これらの発見は、老朽化したソフトウェアの保守に対するサポートがより強力であることを示しているが、開発者は依然として現代化されたシステムが企業が依存する動作を保持することを確認する必要がある。

ベンチマークテストもまた、さらなる改善が必要であることを示している。Astraの結果は異なる言語間で大きく変動し、COBOLは依然として最大の課題である。一方、Lunaの低コストは、エンジニアリングチームが予算を大幅に増やすことなく、より多くの実験を行うことを可能にする。これらの結果は進展の励みとなる証拠を提供しているが、チームは生産環境へのデプロイを慎重に検証する必要があり、信頼できる移行ソフトウェアが重要な業務操作に使用される前に確認が必要である。

OpenAIモデルが旧来のシステムに与える影響

OpenAIは旧来のプログラミング言語のコーディングおよび移行能力において顕著な進展を遂げており、特に金融業界では、多くのシステムが数十年前のコードに依存している。企業が運営の現代化を目指す中で、これらの技術の向上は置き換えリスクを効果的に低減し、ビジネスルールの保持を確実にする。しかし、開発者は依然として文書の不完全さやビジネスロジックの課題に直面しており、これが移行の精度に影響を与える可能性がある。OpenAIのテスト結果は、進展が見られるものの、新しいシステムの信頼性を確保するためにはさらなる検証が必要であることを示しており、これは重要な業務操作にとって非常に重要である。