OpenAI Modelle erreichen eine Genauigkeit von 97,9 % bei der Codierung und Migration alter Programmiersprachen

OpenAI hat die Fähigkeiten seiner Modelle zur Softwareentwicklung in alten Programmiersprachen und zur Migration bestehender Codes erheblich verbessert. Die neuesten Ergebnisse zeigen, dass in einem Test zur Migration alter Programme eine Genauigkeit von 97,9 % erreicht wurde. Diese Verbesserungen könnten Unternehmen dabei helfen, Software zu modernisieren, die für den täglichen Betrieb von entscheidender Bedeutung ist. Banken und Finanzinstitute sind nach wie vor auf Code angewiesen, der vor Jahrzehnten geschrieben wurde, was das Risiko einer Ablösung extrem hoch macht, da Entwickler bestehende Berechnungen und Geschäftsregeln beibehalten müssen. Der Umgang mit veraltetem COBOL-Code ist nach wie vor tief in der Finanzinfrastruktur verwurzelt.

IBM schätzt, dass COBOL über 40 % der Online-Banking-Systeme, 80 % der persönlichen Kreditkartentransaktionen und 95 % der Geldautomaten-Transaktionen unterstützt. Fortran bleibt ebenfalls wichtig in der wissenschaftlichen Berechnung, einschließlich Wettervorhersage und Sicherheitsanalysen von Kernreaktoren. Die Trainingsmaterialien für diese beiden Sprachen sind im Vergleich zu beliebten Optionen wie Python und JavaScript deutlich geringer.

Herausforderungen alter Programmiersprachen

OpenAI berichtet, dass Entwickler und Unternehmenskunden beim Codieren mit diesen alten Sprachen Schwierigkeiten haben. Die Dokumentation könnte unvollständig sein, und wichtige Geschäftsregeln existieren möglicherweise nur im ursprünglichen Code, was während des Migrationsprozesses Probleme verursacht. Ein umgeschriebenes Programm könnte zwar fehlerfrei laufen, aber unterschiedliche Ergebnisse liefern. Zum Beispiel könnte COBOL überflüssige Dezimalstellen verwerfen, es sei denn, das Programm fordert ausdrücklich eine Rundung an. Eine Änderung dieses Verhaltens könnte finanzielle Berechnungen beeinflussen. OpenAIs COBOL-Migrationsbewertung testet, ob das Modell bestehende Programme ohne Verhaltensänderungen in C++, Java, Kotlin, Python oder Rust umwandeln kann.

GPT-6.1 Sol erreicht bei niedriger Inferenzschwierigkeit eine Genauigkeit von 86,6 %, während GPT-5.6 Sol nur 5,4 % erreicht. OpenAI berichtet auch, dass die API-Kosten in diesem Setup um 39 % gesenkt wurden. Bei höherer Inferenzschwierigkeit erreicht GPT-6.1 Sol eine Genauigkeit von 97,9 %. Die Bewertung verlangt, dass die umgewandelten Programme jeden versteckten Test bestehen, einschließlich des Vergleichs ihrer beobachtbaren Ausgaben mit dem ursprünglichen Programm. Diese Zahl spiegelt die Leistung des OpenAI-Testsets wider und stellt keine Garantie für eine fehlerfreie Migration dar.

Entwickler müssen weiterhin basierend auf der tatsächlichen Arbeitslast und nicht dokumentierten Abhängigkeiten validieren.

Ergebnisse der Mehrsprachigkeitstests

OpenAI hat auch seine Modelle auf MultiLangBench getestet, einem Test, der die Fähigkeit misst, in 20 Programmiersprachen eine SQLite-kompatible Datenbank-Engine zu erstellen. Die durchschnittliche Bestehensquote von GPT-6 Astra liegt bei 87,4 %, während GPT-5.6 Sol nur 26,8 % erreicht. Astra hat in jeder getesteten Sprache Verbesserungen erzielt. Die Punktzahl für Fortran stieg von 21,4 % auf 83,5 %, während Visual Basic von 27,5 % auf 89,4 % anstieg.

Obwohl COBOL nach wie vor die herausforderndste Sprache ist, hat sich die Punktzahl von Astra von 10,9 % auf 72,1 % verbessert. Die durchschnittliche Bestehensquote von GPT-6 Luna liegt niedriger bei 40,3 %, aber die Kosten pro Beispiel sind etwa niedriger als die von GPT-5.6 Sol mit 78 %. OpenAI schätzt die API-Kosten auf US$0.77 (ca. HK$6) und US$3.48 (ca. HK$27). Diese Erkenntnisse zeigen eine stärkere Unterstützung für die Wartung alter Software, dennoch müssen Entwickler sicherstellen, dass modernisierte Systeme die von den Unternehmen abhängigen Verhaltensweisen beibehalten.

Die Benchmark-Tests zeigen ebenfalls Bereiche, in denen noch Verbesserungen erforderlich sind. Die Ergebnisse von Astra variieren erheblich zwischen den verschiedenen Sprachen, und COBOL bleibt die größte Herausforderung. Gleichzeitig könnten die niedrigeren Kosten von Luna es Ingenieurteams ermöglichen, mehr Experimente durchzuführen, ohne das Budget erheblich zu erhöhen. Diese Ergebnisse bieten ermutigende Beweise für Fortschritte, jedoch müssen die Teams die Produktionsbereitstellung sorgfältig validieren, bevor sie der Migration von Software für kritische Operationen vertrauen.

Einfluss der OpenAI-Modelle auf alte Systeme

OpenAI hat signifikante Fortschritte in der Codierungs- und Migrationsfähigkeit alter Programmiersprachen erzielt, insbesondere im Finanzsektor, wo viele Systeme nach wie vor auf Code aus vor Jahrzehnten angewiesen sind. Während Unternehmen versuchen, ihre Abläufe zu modernisieren, können diese technologischen Verbesserungen das Risiko einer Ablösung effektiv senken und die Beibehaltung von Geschäftsregeln sicherstellen. Dennoch müssen Entwickler weiterhin mit unvollständiger Dokumentation und Herausforderungen in der Geschäftslogik umgehen, was die Genauigkeit der Migration beeinflussen könnte. Die Testergebnisse von OpenAI zeigen, dass trotz der Fortschritte weitere Validierungen erforderlich sind, um die Zuverlässigkeit neuer Systeme sicherzustellen, was für kritische Geschäftsoperationen von entscheidender Bedeutung ist.