Kürzlich veröffentlichte OpenAI 719 von seinen Modellen generierte Lösungen mathematischer Probleme, die mehrere offene Forschungsfragen betreffen. Obwohl das Unternehmen angab, vor der Veröffentlichung einen Mathematik- und KI-Beratergremium konsultiert zu haben, zeigt die öffentliche Lage, dass der Prozess die Standards des Gremiums noch nicht vollständig erfüllt, insbesondere bestehen Lücken bei den ausreichenden Garantien für menschliches Verständnis, formale Verifizierung und Peer-Review. Das Beratergremium von OpenAI wird vom Institute for Advanced Study in Princeton geleitet und umfasst neun Mathematikforscher von mehreren Institutionen weltweit. Das Gremium hatte zuvor empfohlen, den Einsatz proprietärer Modelle zur Prüfung höherer Mathematikprobleme einzustellen, doch OpenAI nutzte diesmal explizit proprietäre Modelle zur Bewertung offener Mathematikprobleme.
OpenAIs mathematische Problemlösungen weisen mehrere Mängel auf
Unter den 719 Dokumenten legten nur 10 den Schlussfolgerungsprozess des Modells offen, weitere 42 % der Beweise wurden nicht formalisiert abgeschlossen. Eine neue Studie von Mathematikforschern der University of Cambridge und des King's College London weist darauf hin, dass in der von OpenAI zu einem vom Navier-Stokes-Gleichung abgeleiteten Problem vorgelegten Lösung zwischen dem natürlichsprachlichen Beweis und dem formalisierten Code mindestens zwei Diskrepanzen bestehen. Diese Diskrepanzen bedeuten nicht zwangsläufig, dass der Beweis fehlerhaft ist, zeigen aber, dass beim Übersetzen textbasierter Überlegungen in verifizierbaren Code Fehlübersetzungen auftreten können.
Das Beratergremium hatte zuvor verlangt, dass die Labore maschinenlesbare Verknüpfungsinformationen bereitstellen, um natürlichsprachliche Beweise und formalisierte Ergebnisse zuzuordnen, doch OpenAI lieferte diese diesmal nicht. Mathematiker sind der Ansicht, dass maschinengenerierte Beweise derselben Peer-Review unterzogen werden müssen wie traditionelle Beweise. Terence Tao wies ebenfalls darauf hin, dass, wenn die Person, die das Modell zur Problemlösung auffordert, die Ergebnisse nicht erklären, am Bericht mitwirken oder auf Fachfragen reagieren kann, die entsprechenden Ergebnisse nur schwer in die mathematische Forschung integriert werden können. Harvard-Mathematikprofessorin Melanie Wood erklärte, dass beim Output von Modelllösungen das menschliche Verständnis oft noch nicht gebildet ist, die nachfolgende Verifikationsarbeit erst beginnt.