このほど、OpenAIが同社のモデルによって生成された719件の数学問題の解答を公開した。複数の未解決研究問題が含まれる。同社は公開前に数学と人工知能の諮問パネルに助言を求めたと説明しているが、公開されている情報によれば、そのプロセスは同パネルが提示した標準を完全には満たしていない。特に、人間の理解、形式化検証、査読の十分な保証において欠落がある。OpenAIの当該諮問パネルはプリンストン高等研究院が主導し、世界各地の機関に所属する9人の数学研究者で構成される。同パネルは以前、独自モデルを用いた高等数学問題のテストを中止するよう勧告していたが、今回OpenAIは明確に独自モデルを用いて未解決数学問題を評価した。
OpenAIの数学問題解答に複数の不備
719件の原稿のうち、モデルが結論に至った推論過程を開示しているのはわずか10件にとどまる。また、42%の証明が形式化処理を完了していない。ケンブリッジ大学とロンドン・キングスカレッジの数学研究者たちによって完成された新しい論文は、OpenAIがナビエ・ストークス方程式から派生したある問題に対して提示した解答において、自然言語による証明と形式化コードの間に少なくとも2箇所の相違があることを指摘している。これらの相違が必ずしも証明の誤りを意味するわけではないが、モデルがテキスト推論を検証可能なコードに変換する際に誤訳が生じる可能性を示している。
諮問パネルは以前、研究所に対して自然言語による証明と形式化結果を対応付ける機械可読の関連情報を提供するよう求めていたが、今回OpenAIはそれを提供しなかった。数学者たちは、機械生成の証明であっても従来の証明と同様の査読を受ける必要があると考えている。Terence Taoも、モデルに問題を提示した人物が結果を説明できず、報告に参加できず、査読者の質問に応答できない場合、関連成果を真に数学研究に統合することは困難だと指摘している。ハーバード大学数学教授のMelanie Woodは、モデルが解答を出力する時点で人間の理解は往々にしてまだ形成されておらず、その後の検証作業がようやく始まる段階だと述べている。