OpenAI anunció el 6 de octubre la publicación en GitHub de 719 manuscritos matemáticos producidos por un modelo interno que todavía no está disponible públicamente. Los trabajos están organizados en 372 familias de resultados, pero esas familias no equivalen a 372 demostraciones independientes aceptadas. La cuestión ahora es cuáles de los resultados resistirán el examen de la comunidad matemática.
Una familia puede agrupar un resultado principal, argumentos complementarios, consecuencias y demostraciones alternativas. El catálogo inicial tenía 722 manuscritos; tres fueron retirados después de detectarse un error en una demostración. OpenAI prevé conservar el historial público de correcciones y añadir más materiales de verificación.
Qué se ha verificado hasta ahora
El repositorio indica que aproximadamente el 42 % de los resultados principales cuenta con una formalización en Lean, un sistema que permite comprobar pasos de una demostración mediante software. Los demás trabajos pueden contener problemas, según advierte el propio repositorio. La formalización de parte del catálogo tampoco constituye una valoración del interés o el impacto matemático del conjunto.
Para facilitar el examen, OpenAI ofrece los manuscritos, materiales de prueba, un mapa del catálogo y diez resúmenes abreviados del razonamiento del modelo. El grupo asesor de matemáticas e inteligencia artificial consultado por la empresa aclara que participar en esta evaluación no supone respaldar el procedimiento ni juzgar el impacto de los resultados. Sostiene que esa tarea corresponde a la comunidad matemática. La necesidad de revisión externa también estaba presente en la anterior demostración sobre Navier-Stokes presentada por OpenAI, que seguía sin validación externa.
Cómo se generó el catálogo
OpenAI explica que amplió sus evaluaciones porque las pruebas matemáticas anteriores ya no distinguían suficientemente el rendimiento de sus modelos. Durante la nueva evaluación se plantearon al modelo unos 4.000 problemas. La empresa estima que obtener cada resultado consumió, de media, un cómputo equivalente a unas tres horas de razonamiento de ChatGPT Pro.
