866ai

冲击奥数金牌的开源路线图:自然语言证明的成色几何

· 0 次浏览 ·来源: 866ai
在多数团队依赖 Lean 等形式化证明器冲刷数学竞赛 benchmark 的当下,一项开源工作反其道而行:从 Nemotron 3 Ultra 出发,仅用监督微调与强化学习训练出三个专家检查点,配合检查点选择、验证与精炼的测试时算力管线,全程自然语言完成奥数级证明,不借助形式化证明器、外部工具或联网。这套完全公开的训练配方,让自然语言推理路线的上限第一次被认真标定。

国际数学奥林匹克金牌,是大模型推理能力的珠峰。过去两年冲顶的队伍几乎都走了同一条路:把数学翻译成 Lean 这样的形式化语言,用证明助手机械验证每一步,牺牲表达力换取严谨性。自然语言路线则长期被视作不靠谱——模型写起证明来行云流水,漏洞也藏得同样自然。

一条反主流的技术路线

一项新公开的开源配方选择正面刚:不做形式化,全程自然语言。基座是 Nemotron 3 Ultra,训练手段并不新鲜——监督微调打底,强化学习拔高,产出三个侧重不同的专家检查点。真正出彩的是测试时的算力管线:先在多个检查点里挑、再对候选证明做验证、最后针对薄弱处精炼重写。三道工序叠上去,证明的可靠度才被一步步磨出来。

值得强调的是约束条件:没有形式化证明器兜底,没有外部工具调用,没有联网检索。模型拿到的只有题目和自己的推理。这种设定下能在奥数级题目上拿到金线附近的成绩,说明自然语言证明并非不能打,而是此前缺少足够的训练投入和推理调度。

开源配方的真实价值

相比某个孤立的分数,这份工作更值钱的是它把配方完整摊开:数据怎么配、强化学习怎么设奖励、验证环节怎么设计、算力怎么在候选之间分配,全部可复现。对资源有限的研究团队来说,这是一张可以直接照着走的施工图。验证与精炼这两步的设计尤其有借鉴价值——它们不依赖任何形式化工具,本质是用模型审查模型,把单次生成的置信度问题转化为多次筛选的统计问题。

  • 检查点选择:不同训练阶段的专家各有擅长,按题型调度而非一刀切;
  • 验证环节:先筛掉逻辑硬伤,把算力留给最可疑的候选;
  • 精炼环节:针对验证给出的反馈定向重写,而不是推倒重来。

自然语言路线的天花板在哪里,这次没有被回答,但被显著抬高了。当开源模型在不需要证明助手的前提下稳定通过奥数门槛,形式化路线的必要性边界就得重新讨论——两条路线的竞争,才刚刚开始。