Recientemente, OpenAI publicó 719 soluciones a problemas matemáticos generadas por su modelo, que abarcan múltiples problemas de investigación abiertos. Aunque la empresa afirma haber consultado a un comité asesor de matemáticas e inteligencia artificial antes del lanzamiento, según lo que se ha hecho público, su proceso aún no cumple plenamente los estándares que propuso dicho comité, especialmente en las garantías adecuadas para la comprensión humana, la verificación formal y la revisión por pares. El comité asesor de OpenAI está liderado por el Instituto de Estudios Avanzados de Princeton e incluye a 9 investigadores matemáticos de diversas instituciones globales. El comité había recomendado anteriormente dejar de usar modelos propietarios para probar problemas matemáticos avanzados, pero OpenAI en esta ocasión utilizó explícitamente un modelo propietario para evaluar problemas matemáticos abiertos.
Las soluciones de OpenAI a problemas matemáticos presentan múltiples deficiencias
De los 719 manuscritos, solo 10 revelaron el proceso de razonamiento con el que el modelo llegó a sus conclusiones, mientras que otro 42 % de las demostraciones no completaron el procesamiento formal. Un nuevo artículo de investigadores matemáticos de la Universidad de Cambridge y el King's College de Londres señala que en la solución que OpenAI dio a un problema derivado de las ecuaciones de Navier-Stokes existen al menos dos discrepancias entre la demostración en lenguaje natural y el código formalizado. Estas discrepancias no implican necesariamente que la demostración sea errónea, pero muestran que el modelo puede cometer errores de traducción al convertir el razonamiento textual en código verificable.
El comité asesor había exigido anteriormente a los laboratorios que proporcionaran información de asociación legible por máquina para vincular las demostraciones en lenguaje natural con los resultados formalizados, pero OpenAI no la proporcionó en esta ocasión. Los matemáticos consideran que las demostraciones generadas por máquina deben someterse a la misma revisión por pares que las demostraciones tradicionales. Terence Tao también señaló que si la persona que pide al modelo resolver el problema no puede explicar los resultados, participar en el informe o responder a las preguntas de los pares, los logros correspondientes difícilmente podrán integrarse verdaderamente en la investigación matemática. La profesora de matemáticas de la Universidad de Harvard, Melanie Wood, afirmó que cuando el modelo produce una solución, la comprensión humana a menudo aún no se ha formado, y el trabajo de verificación posterior apenas comienza.