AI法官的数学审判：一场被系统性偏见的评分革命
人工智能在生成内容方面取得了巨大进步，但当其能力触及基础门槛时，评判这些模型自身表现可靠性的需求便应运而生。对于数学推理这一核心领域，尤其是大学级别的复杂证明，如何客观衡量一个AI模型是否真正‘理解’了其输出，已成为制约行业发展的关键瓶颈。
从生成到评估：AI能力的内卷与隐忧
当前主流的评估范式是‘LLM-as-a-Judge’，即利用一个强大的大型语言模型来评审另一个模型的输出。这种方法因其高效和自动化而被广泛采用，但它真的如我们所想的那样客观公正吗？这项研究正是对此提出了根本性的质疑。它并非否定AI在数学领域的成就，而是揭示了一个被忽视的灰色地带：当这些AI‘法官’开始互相评分时，它们的行为模式可能偏离了人类的真实认知标准。
这种偏离被研究者称为‘Alignment Gap’（对齐差距）。它指的是，尽管AI模型可能在某些任务上超越了人类，但它们的判断逻辑和偏好可能与人类专家的深层认知存在差异。这种差异在高阶、需要严密逻辑的数学证明领域尤为致命，因为它可能导致我们误判哪些模型真正掌握了知识，而哪些只是学会了‘应试技巧’。
QEDBench：构建双轨制的公正标尺
为了量化这一差距，研究团队开发了QEDBench。这是一个前所未有的、大规模的、基于双重评分标准的基准测试。它的核心创新在于同时采用了两种评估标准：一是课程专用的评分标准（rubrics），二是人类专家共有的知识准则。通过让多个‘法官’模型对大量数学解答进行评分，并与人类专家的评判结果进行比对，研究者得以精准地定位出AI法官们的‘偏见’所在。
研究团队部署了7位顶尖AI评委对5个不同AI求解器产生的答案进行交叉评估，整个评估过程耗时超过1,000小时的人类工作量。如此巨大的投入，旨在确保数据的全面性和权威性。最终，他们得到了一个令人震惊的发现。
结果显示，像Claude Opus 4.5、DeepSeek-V3、Qwen 2.5 Max以及Llama 4 Maverick这类处于技术前沿的AI评委，都表现出了明显的正偏性。这意味着，无论一个解答的真实质量如何，它们倾向于给那些来自其他前沿模型的答案打更高的分数。这种‘圈内互捧’的现象，使得它们给出的平均分数比人类专家的标准高出0.18至0.36分不等。这不仅仅是微小的误差，而是系统性的扭曲，它会让评估体系失去区分度，最终误导我们对模型能力的真实判断。
离散数学领域的“木桶效应”
除了普遍的正向偏见，研究还揭示了另一个深刻的洞察：不同模型在不同数学子领域的‘长板’和‘短板’差异巨大。以Gemini 3.0 Pro为例，它在整体评估中获得了0.91的高人类评分，堪称性能之王。然而，当评估范围限定在离散数学或图论等特定领域时，其优势不再明显，甚至被拉开差距。
与此同时，一些在通用评测中表现稍逊的模型，如GPT-5 Pro和Claude Sonnet 4.5，却在离散数学领域展现了强大的实力。但当评估转向图论时，它们的性能却急剧下滑，平均人类评分分别降至0.74和0.50。这说明，当前的AI模型更像是在不同领域拥有独特技能的‘多面手’，而非一个在所有维度上都均衡发展的‘全才’。这种不均衡性意味着，任何单一的、通用的评测基准都可能无法完全反映一个模型的真实潜力，必须进行更细粒度的领域分析。
这些发现共同指向一个严峻的现实：我们现有的AI评估体系正在构建一个由AI主导的‘自证循环’。在这个循环里，强者愈强，而真实的进步信号可能被淹没在算法的偏见之中。